A Internet das Coisas Musicais (também conhecida como IoMusT, do inglês Internet of Musical Things) é uma área de pesquisa que pretende levar conectividade da Internet das Coisas para as práticas musicais e artísticas. Além disso, engloba conceitos oriundos da computação musical, música ubíqua, interação humano-computador, inteligência artificial, realidade aumentada, realidade virtual, jogos, arte participativa e novas interfaces para expressão musical. De uma perspectiva computacional, a IoMusT se refere a redes locais ou remotas embarcadas com dispositivos capazes de gerarem e/ou reproduzirem conteúdo musical.
Introdução O termo Internet das Coisas é extensível a todo objeto do cotidiano conectado à internet, tendo suas capacidades aumentadas ao trocar informações com outros elementos presentes na rede para atingirem um objetivo em comum. Graças aos avanços tecnológicos ocorridos nas últimas décadas, seu uso tem se espalhado para diversas áreas de atuação, auxiliando em análises médicas, controle de tráfego e segurança de residências. Quando seus conceitos se encontram com a música, surge a Internet das Coisas Musicais (IoMusT).
O termo “Internet das Coisas Musicais” também recebe inúmeras classificações, conforme o uso de determinados autores. Hazzard et al, por exemplo, emprega-o no contexto de instrumentos musicais que possuem código QR que direciona o usuário para uma página com informações a cerca deste instrumento, como data de fabricação e história. Keller e Lazzarini, no que lhe concerne, utilizam este termo na pesquisa de música ubíqua (ubimus), enquanto Turchet et al. definem a IoMusT como um subcampo da Internet das Coisas, onde dispositivos interoperáveis podem se conectar entre si, auxiliando a interação entre musicistas e o público.
Assim como a IoT, a Internet das Coisas Musicais pode abranger diversos ecossistemas. Mas geralmente, é marcada por ser empregada em atividades musicais (ensaios, concertos, gravações e ensino de música) e contarem com provedores de serviços e informações.
Para além das vantagens tecnológicas e artísticas que este campo oferece, ainda surgem novas oportunidades para a indústria musical, proporcionando o surgimento de novos serviços e aplicações capazes de explorar a interconexão entre dispositivos lógicos e físicos, sempre mantendo o propósito artístico em mente.
Coisas Musicais Uma coisa musical é formalmente definida como “dispositivo computacional capaz de adquirir, processar, atuar ou trocar dados que sirvam a um propósito musical”. Em suma, estes objetos são entidades que podem ser usadas para a prática musical, podem estar conectadas em redes locais e/ou remotas e atuam como remetentes ou destinatárias de mensagens. Elas podem ser, por exemplo, um instrumento inteligente (instrumentos que usam sensores, atuadores e conexão sem fio para processamento de áudio), dispositivos vestíveis ou qualquer outro capaz de controlar, gerar ou executar conteúdo musical pela rede.
Diferentemente dos dispositivos tradicionais de áudio, como microfones e alto-falantes, as coisas musicais não são úteis sozinhas, surgindo a necessidade de inseri-las em uma cadeia de equipamentos. Sendo assim, surge a necessidade de pensar padrões, protocolos e meios de comunicação entre elas. Estes desafios serão analisados a seguir.
Os desafios para criar coisas musicais O primeiro desafio diz respeito ao hardware utilizado nas coisas musicais. Primeiramente, deve-se ter em mente que estes dispositivos não são analógicos. Por conta disso, eles podem ser reprogramados e devem apresentar conexão com a internet e/ou apresentarem outra possibilidade de comunicação com outros equipamentos.
Segundamente, elas não são dispositivos computacionais tradicionais. Isso quer dizer que elas são programadas para um propósito geral, não somente para realizar determinadas tarefas, como é o caso de smartphones e computadores pessoais. Finalmente, é importante ressaltar que elas serão empregadas em um contexto artístico e musical. Desse modo, as características estéticas são tão importantes quanto as computacionais.
Posto isso, ficam claros os desafios de hardware, que passam tanto pela capacidade de processamento quanto pelo armazenamento e consumo de energia das coisas musicais, que devem ser suficientemente bons para aguentarem apresentações artísticas, ao passo que não devem encarecer estes objetos nem torná-los pouco ergonômicos e de difícil manuseio. Além disso, elas devem ser capazes de assumirem diferentes papéis em diferentes cenários. Assim, devem permitir que os usuários adicionem ou removam componentes (como sensores e atuadores) visando serem adaptáveis, expressivos e versáteis.
O segundo desafio trata do comportamento das coisas musicais. Elas prioritariamente devem trocar dados sonoros, mas é desejável que elas também troquem dados de controle parâmetros de processamento. Nesse sentido, elas devem adaptar seu modo de funcionamento de modo a conseguir cooperar com os outros elementos presentes na rede, e também terem seus softwares e lógicas de funcionamento atualizados de forma remota.
A terceira adversidade é possivelmente o tópico mais sensível e mais difícil de se lidar. Deve-se pensar em quais dados são possíveis de serem compartilhados e como fazer isso. Para formato de áudio, pode-se pensar em formatos Pulse Code Moduation (PCM), como o WAV, pelo fato dele ser o mais comum em sistemas de processamento de áudio em tempo real. Entretanto, questões como latência e qualidade não são asseguradas. Já arquivos no formato MP3, FLAC ou OGG exigem maior processamento e a latência oriunda disso pode tornar o ambiente impraticável.
Possíveis soluções para criar coisas musicais Possíveis soluções para os problemas citados passam pelo uso de elementos comuns na IoT na prática musical ou pela atribuição de capacidade de conexão à rede por conta dos objetos tradicionais de áudio. As unidades de efeitos (como pedais de guitarra) devem ser construídas de modo que o usuário tenha liberdade de remover ou inserir botões e sensores, enquanto que em unidades lógicas o software seja passível de modificação. Já os equipamentos de áudio devem enviar e receber dados pela rede e também serem controlados de forma remota. Isso pode ser útil para adaptar estes elementos aos diferentes tipos de dados que circulam na rede.
Já os instrumentos musicais terão funcionamento similar ao dos instrumentos musicais inteligentes, onde serão equipados com sensores e atuadores capazes de capturar estímulos do ambiente e dos próprios musicistas. As ferramentas de auxílio musical, como metrônomos e afinadores, podem ser transpostas para meios digitais, enquanto as ferramentas de auxílio ao espetáculo, como canhões de luzes e fumaça, podem ser controlados e sincronizados pela rede.
Entretanto, a IoMusT não se trata apenas de fazer adaptações do que já existe, mas também por criar dispositivos, capazes de gerarem novas perspectivas para as práticas musicais.
Campos Relacionados Esta seção revisa alguns dos vários domínios de aplicação que auxiliam um ambiente de IoMusT. A análise não pretende ser exaustiva, visando descrever as principais características e funcionalidades de cada área.
Performance musical em rede Uma performance por rede é uma interação em tempo real via máquina, que permite que artistas dispersos pelo globo interajam entre si como se estivessem no mesmo ambiente. Embora não pretenda substituir o modelo tradicional, ela contribui com criação musical e com sua interações sociais, promovendo a criatividade e o intercâmbio de culturas.Gresham-Lancaster, Scot. “The Aesthetics and History of the Hub: The Effects of Changing Technology on Network Computer Music.” Leonardo Music Journal, vol. 8, The MIT Press, 1998, pp. 39–44, https://doi.org/10.2307/1513398.
Dentre suas principais características, constam: baixa latência, onde os sons produzidos devem ser ouvidos quase instantaneamente; sincronização, para evitar que longos atrasos prejudiquem a interação no ambiente; interoperabilidade por meio de padronização, que permite que aparelhos distintos possam se comunicar pela rede; escalabilidade, que torna o sistema abrangente e permite a participação distribuída entre os usuários; e fácil integração e participação, aspectos que garantem que os usuários não tenham dificuldade para encontrar dispositivos na rede, bem como possam se conectar ou desconectar dela quando bem quiserem.Alexandraki, Chrisoula & Koutlemanis, P. & Gasteratos, Petros & Valsamakis, Nikolas & Milolidakis, Giannis. (2008). Towards the implementation of a generic platform for networked music performance: The diamouses approach. Quanto aos desafios dessa área, eles podem ser ilustados pela exigência de alta largura de banda e ordenação no fluxo transmitido, além de sensibilidade ao atraso na entrega de pacotes de dados.
Arte Interativa A arte sempre teve sua interação marcada pela relação do artista com o meio que ele dispõe para materializar a obra, enquanto ao público cabia apenas o papel de observar tudo de forma passiva. Isso começou a mudar quando movimentos artísticos liderados por Allan Kaprow e pelos grupos Fluxos e Gutai começaram a permitir uma participação mais ativa da audiência.Nardim, Thaise Luciane. Allan Kaprow, performance e colaboração: estratégias para abraçar a vida como potência criativa. Campinas, SP: [s.n.], 2009 Nesse contexto, surge a arte interativa, caracterizada por permitir ao espectador um grau de envolvimento ativo no espetáculo, seja caminhando entre as instalações e esculturas, ou produzindo sons, imagens e movimentos.Forny, Leonardo, y "Arte e Interação: Nos Caminhos da Arte Interativa?." Razón y Palabra, vol. , no. 53, 2006, pp. . Redalyc, https://www.redalyc.org/articulo.oa?id=199520728009Rômulo Vieira, Igino de Oliveira Júnior, Marcela Almeida, and Flávio Luiz Schiavoni. 2020. Uma aproximação entre participação do público em espetáculo artístico e jogos: racionalidade e improviso. In Proceedings of SBGames 2020, 116–124. Retrieved from https://www.sbgames.org/proceedings2020/ArtesDesignFull/209608.pdf
A arquitetura desses ambientes é concebida para lidar com diferentes tipos de sinais, que vão desde áudio e vídeo até aqueles produzidos pelo corpo humano, como as batidas do coração. Sendo assim, elas também requerem funcionalidades que garantam interoperabilidade e lidem com o atraso na entrega de dados.
Música ubíqua A música ubíqua, geralmente abreviada para ubimus, é um campo de pesquisa que combina música, tecnologia e processos criativos com forte engajamento social e comunitário. Embora sua proposta original seja voltada para a produção musical, as atuais novidades tecnológicas têm aberto novas dimensões sociais e cognitivas para esta área, levando-a se interessar cada vez mais por temas educacionais e artísticos. Assim, as perspectivas atuais abrangem uma ampla diversidade de assuntos e atores, que vão desde participantes casuais a músicos altamente treinados.
O ecossistema ubimus suporta a integração de ferramentas de áudios e a interação com o público, podendo ser reconfigurável para atender as necessidades dos usuários. Consequentemente, os conceitos almejados não dependem de implementações específicas. Outras características importantes são as abordagens conceituais e a confiança em métodos empíricos. Estes aspectos estimulam o desenvolvimento de tecnologias para a criação de música, em especial aquelas que utilizam de objetos e espaços comuns no dia a dia dos envolvidos no processo.
Web Audio, Computação na Nuvem e Computação na borda O Web Audio é uma API de JavaScript voltada para processamento e sintetização de áudio em aplicações web, representando uma evolução tecnológica neste segmento. Apresenta algumas características comuns aos DAWs, como roteamento de sinais de áudio, baixa latência e aplicação de efeitos. Também permite performances participativas em rede e expandem as capacidades de uso de smartphones nesses meios.