Internet de las cosas musicales

El primer desafío se refiere al hardware utilizado en los dispositivos musicales. ^{[ 17 ]} En primer lugar, cabe destacar que estos dispositivos no son analógicos . Por ello, pueden ser reprogramados y deben contar con conectividad a internet y/o alguna otra forma de comunicarse con otros equipos. En segundo lugar, no son dispositivos informáticos tradicionales. Esto significa que están programados para un propósito general, no solo para realizar tareas específicas, como ocurre con los teléfonos inteligentes y los ordenadores personales . Finalmente, es importante señalar que se emplearán en un contexto artístico y musical. De este modo, las características estéticas son tan importantes como las computacionales. ^{[ 17 ]}

Dicho esto, los desafíos de hardware son claros, e incluyen la capacidad de procesamiento, así como el almacenamiento y el consumo de energía de los dispositivos musicales, que deben ser lo suficientemente buenos para soportar interpretaciones artísticas, sin que estos objetos resulten caros, poco ergonómicos o difíciles de manejar. Además, deben poder desempeñar diferentes funciones en distintos escenarios. Por lo tanto, deben permitir a los usuarios añadir o quitar componentes (como sensores y actuadores) con el objetivo de ser adaptables, expresivos y versátiles. ^{[ 18 ] [ 19 ]}

El segundo desafío se refiere al comportamiento de los elementos musicales. Deben intercambiar principalmente datos de sonido, pero es deseable que también intercambien datos de control y parámetros de procesamiento. ^{[ 10 ]} En este sentido, deben adaptar su modo de funcionamiento para poder cooperar con los demás elementos presentes en la red, y también actualizar de forma remota su software y lógica operativa.

La tercera adversidad es posiblemente el tema más delicado y difícil de abordar. Hay que pensar qué datos se pueden compartir y cómo hacerlo. En cuanto a los formatos de audio, se pueden considerar los formatos de modulación por impulsos codificados (PCM) , como WAV , ya que son los más comunes en los sistemas de procesamiento de audio en tiempo real. Sin embargo, no se garantizan problemas como la latencia y la calidad . Por otro lado, los archivos en formato MP3 , FLAC u OGG requieren más procesamiento y la latencia resultante puede hacer que el entorno sea poco práctico. ^{[ 17 ]}

Entre las posibles soluciones a estos problemas se incluyen el uso de elementos comunes de IoT en la práctica musical o la asignación de capacidades de red a objetos de audio tradicionales. Las unidades de efectos (como los pedales de guitarra) deberían diseñarse de forma que el usuario pueda quitar o insertar botones y sensores, mientras que en las unidades lógicas el software sea modificable. Los equipos de audio deberían enviar y recibir datos a través de la red, y también ser controlados remotamente. Esto puede ser útil para adaptar estos elementos a los diferentes tipos de datos que circulan por la red. ^{[ 17 ]}

Por otro lado, los instrumentos musicales funcionarán de forma similar a los instrumentos musicales inteligentes, ya que estarán equipados con sensores y actuadores capaces de captar estímulos del entorno y de los propios músicos. Los instrumentos musicales como metrónomos y afinadores se pueden adaptar a medios digitales, mientras que los elementos de apoyo para la interpretación, como cañones de luz y humo, se pueden controlar y sincronizar a través de la red. ^{[ 17 ]}

Sin embargo, IoMusT no se trata solo de adaptar lo que ya existe, sino también de crear dispositivos capaces de generar nuevas perspectivas para las prácticas musicales.

Una actuación en red es una interacción en tiempo real a través de una máquina, que permite a artistas dispersos por todo el mundo interactuar entre sí como si estuvieran en el mismo entorno. Si bien no pretende reemplazar el modelo tradicional, contribuye a la creación musical y a sus interacciones sociales, promoviendo la creatividad y el intercambio cultural. ^{[ 20 ] [ 21 ]}

Entre sus principales características se encuentran: baja latencia, donde los sonidos producidos deben escucharse casi instantáneamente; sincronización, para evitar que los retrasos prolongados obstaculicen la interacción en el entorno; interoperabilidad mediante estandarización, que permite que diferentes dispositivos se comuniquen a través de la red; escalabilidad , que hace que el sistema sea integral y permite la participación distribuida entre los usuarios; y fácil integración y participación, aspectos que aseguran que los usuarios no tengan dificultad para encontrar dispositivos en la red y puedan conectarse o desconectarse de ella cuando lo deseen. ^{[ 22 ]} En cuanto a los desafíos en esta área, se pueden ilustrar con el requisito de un alto ancho de banda y orden en el flujo transmitido, y la sensibilidad al retraso en la entrega de paquetes de datos. ^{[ 23 ]}

El arte siempre ha tenido su interacción marcada por la relación entre el artista y el medio que utiliza para materializar la obra, mientras que el público solo tenía el papel de observador pasivo. Esto comenzó a cambiar cuando los movimientos artísticos liderados por Allan Kaprow y los grupos Fluxus y Gutai comenzaron a permitir una participación más activa del público. ^{[ 24 ]} En este contexto, surgió el arte interactivo , caracterizado por permitir al espectador cierto grado de participación activa en la muestra, ya sea caminando entre las instalaciones y esculturas , o produciendo sonidos , imágenes y movimientos. ^{[ 25 ] [ 26 ]}

La arquitectura de estos entornos está diseñada para gestionar distintos tipos de señales, desde audio y vídeo hasta las producidas por el cuerpo humano, como los latidos del corazón. Por ello, también requieren funcionalidades que garanticen la interoperabilidad y gestionen los retrasos en la entrega de datos.

La música ubicua, ^{[ 4 ]} generalmente abreviada como ubimus, es un campo de investigación que combina música , tecnología y procesos creativos con una fuerte participación social y comunitaria. Si bien su propuesta original se centra en la producción musical, los avances tecnológicos actuales han abierto nuevas dimensiones sociales y cognitivas a este campo, lo que ha llevado a un creciente interés en temas educativos y artísticos. Por lo tanto, las perspectivas actuales abarcan una amplia diversidad de sujetos y actores, desde participantes ocasionales hasta músicos altamente capacitados. ^{[ 27 ]}

El ecosistema ubimus permite la integración de herramientas de audio y la interacción con el público, y puede reconfigurarse para satisfacer las necesidades de los usuarios. Por consiguiente, los conceptos deseados no dependen de implementaciones específicas. Otras características importantes son los enfoques conceptuales y el uso de métodos empíricos. Estos aspectos fomentan el desarrollo de tecnologías para la creación musical, especialmente aquellas que aprovechan objetos y espacios cotidianos de quienes participan en el proceso.

Web Audio es una API de JavaScript para el procesamiento y la síntesis de audio en aplicaciones web, lo que representa una evolución tecnológica en este sector. Ofrece algunas características comunes a los DAW , como el enrutamiento de señales de audio, baja latencia y la aplicación de efectos. Además, permite actuaciones participativas en red y amplía las posibilidades de uso de los smartphones en estos medios.

Su entorno utiliza nodos de audio para manipular el sonido en un contexto musical. Estos se conectan mediante sus entradas y salidas para crear rutas de enrutamiento de audio, que se modifican mediante nodos de efectos a lo largo del recorrido. De esta forma, puede admitir numerosas fuentes con diferentes configuraciones, además de ser flexible y permitir la creación de funciones complejas con efectos dinámicos. ^{[ 28 ]}

El audio web abre el camino para el uso de navegadores web con fines musicales. Entre las ventajas observadas se encuentran la fácil distribución (no requiere instalación) y el mantenimiento, la independencia de plataforma y arquitectura, la seguridad (el navegador puede impedir que los complementos con comportamiento incorrecto afecten al sistema) y el surgimiento de nuevos tipos de colaboración. ^{[ 28 ]}

Por otro lado, la computación en la nube es una estructura compuesta por servidores distribuidos que simulan una red centralizada, permitiendo el equilibrio de carga y la replicación de recursos, minimizando el consumo de red y mejorando su escalabilidad y fiabilidad. Su objetivo es proporcionar numerosos servicios, desde el almacenamiento de archivos hasta la intercomunicación entre aplicaciones musicales, ofreciendo un nivel de participación y rendimiento sin precedentes. ^{[ 29 ]}

Su principal característica es permitir a los usuarios acceder a los servicios sin necesidad de conocimientos sobre la tecnología utilizada. De este modo, pueden acceder a ellos bajo demanda y sin importar su ubicación. Otros aspectos destacables de esta red son: amplio acceso, elasticidad y gestión de recursos. ^{[ 30 ]}

La infraestructura de computación en la nube se compone principalmente de numerosas máquinas físicas conectadas en red. Cada máquina tiene la misma configuración de software, pero puede diferir en la unidad central de procesamiento , el uso de memoria y la capacidad de almacenamiento en disco . Este modelo se desarrolló con tres objetivos principales: i) reducir el costo de adquisición y composición de los elementos que conforman la infraestructura de red, permitiendo que sea heterogénea y adaptable a los recursos requeridos; ii) flexibilidad para agregar o reemplazar recursos informáticos; iii) facilidad de acceso a los servicios que ofrece, donde los usuarios solo necesitan que sus máquinas tengan un sistema operativo, un navegador y acceso a Internet para acceder a los recursos disponibles en la nube. ^{[ 31 ]}

A pesar de todas las ventajas mencionadas sobre el uso de la computación en la nube, su modo de operación centralizado genera una gran carga de servicio en la red, en particular en lo que respecta a costos y recursos de ancho de banda para la transmisión de datos. Además, el rendimiento de la red empeora a medida que aumenta la cantidad de datos. Para abordar este problema, ha surgido la computación de borde , un paradigma que combina las propiedades de la computación en la nube con la comunicación en tiempo real. El término "borde" se refiere a todos los recursos computacionales y de red entre las fuentes de datos y los servidores en la nube. De esta manera, los objetos presentes en el entorno no solo consumen datos y servicios, sino que también realizan procesamiento computacional, lo que disminuye la tensión en la red y reduce significativamente la latencia en el intercambio de mensajes. ^{[ 32 ] [ 33 ]}

Los atributos clave de este modelo de computación giran en torno a la distribución geográfica, el soporte de movilidad, el reconocimiento de ubicación, los recursos y servicios informáticos cercanos al usuario final, la baja latencia, la sensibilidad al contexto y la heterogeneidad. ^{[ 34 ]}

La informática vestible es un nuevo enfoque que ha redefinido la interacción entre humanos y máquinas , donde los dispositivos electrónicos se conectan directamente al cuerpo del usuario. Se denominan dispositivos vestibles y están diseñados de tal manera que las tecnologías y estructuras que contienen son imperceptibles, actuando como una extensión del ser humano. Entre los modelos más populares en la actualidad se encuentran los relojes inteligentes y las pulseras inteligentes . ^{[ 35 ]}

Aunque son pequeños, son capaces de detectar, recopilar y cargar continuamente numerosos datos fisiológicos y sensoriales, cuyo objetivo es mejorar actividades cotidianas como realizar pagos, ayudar en el seguimiento de la ubicación, monitorizar la salud física y mental, proporcionar análisis sobre ciertas actividades físicas y ayudar en la práctica artística.

Deben poder cumplir tres objetivos principales: asignar movilidad al usuario, es decir, permitirle usar el dispositivo en diversas ubicaciones; realidad aumentada, como generar imágenes o sonidos que no forman parte del mundo real; y proporcionar sensibilidad al contexto, que es la capacidad del equipo para adaptarse a diferentes entornos y estímulos. ^{[ 36 ]}

Es importante destacar que, si bien cuentan con conectividad y manejan una gran cantidad de datos, no todos los dispositivos portátiles son elementos de IoT y, por consiguiente, elementos de IoMusT. Para ser considerados como tales, deben tener acceso a internet.

Siguiendo una línea de pensamiento ligeramente diferente, pero aún utilizando conceptos de la informática vestible, se encuentran los textiles electrónicos . Estos consisten en prendas de vestir mejoradas con sensores y presentan algunas ventajas sobre los dispositivos vestibles, como mayor comodidad, interfaces más naturales para la interacción humana y menor intrusión. A partir de esto, los dispositivos electrónicos que se llevan junto al cuerpo humano pueden clasificarse según la ubicación en la que se insertan ( muñeca , cabeza , pies , etc.) y si ya existen o aún están en fase de prototipado. ^{[ 37 ]}

La posibilidad de que se produzca IoMusT depende de aspectos de la red como el ancho de banda, la latencia y la fluctuación . Por ello, es necesario que estas redes amplíen su funcionamiento más allá del estado actual de la técnica, con el fin de proporcionar mejores condiciones de conexión y abordar los tres aspectos mencionados, además de garantizar la sincronización y una buena calidad en la representación del contenido de audio multimodal.

En lo que respecta a la latencia, la fiabilidad y la sincronización, estas se presentan como una de las principales exigencias en la transmisión de audio a través de una red y en tiempo real, ya sea local o remota, cableada o inalámbrica. Esto se debe al carácter aleatorio de este tipo de comunicación, que puede provocar pérdidas en los datos transmitidos y la desincronización entre ellos, incluso en redes pequeñas. ^{[ 10 ]}

En cuanto a la sincronización, resulta difícil lograrla en dispositivos que no comparten el mismo reloj global. Incluso cuando esto ocurre, pero con objetos en redes diferentes, se requiere una resincronización periódica. Los protocolos existentes son insuficientes para satisfacer esta necesidad. ^{[ 40 ]}

La importancia de abordar la interoperabilidad y la estandarización de los dispositivos presentes en este entorno radica en que estos conceptos son pilares fundamentales para su implementación. Esto se debe a que los dispositivos no se conocen previamente entre sí ni poseen información sobre los elementos con los que se conectarán. Sin embargo, dada la heterogeneidad de estos objetos, en muchos casos no operan bajo los mismos protocolos ni son capaces de interpretar los datos provenientes de sus vecinos. ^{[ 11 ]}

La principal diferencia entre IoMusT e IoT radica en la preocupación del primer campo por cuestiones artísticas. ^{[ 10 ]} A pesar de ofrecer ventajas, como la posibilidad de creación entre músicos ubicados en diferentes lugares del mundo, conectividad masiva y nuevas formas de participación del público, destacan algunos problemas. Entre ellos, la ruptura con el modelo tradicional de interacciones artísticas, como se observa en bandas y orquestas; la falta de retroalimentación visual; la elección de qué elementos serán mostrados y/o controlados por el público; la ausencia de sistemas de respaldo para conciertos remotos; dispositivos costosos, inaccesibles y poco ergonómicos, y la falta de inversión para desarrollar la infraestructura necesaria. ^{[ 10 ] [ 11 ] [ 41 ]}

Debido a la enorme cantidad de datos generados en estos entornos, surgen preocupaciones legales sobre los datos personales , ya que los dispositivos pueden recopilar información de los usuarios involucrados en el proceso. También aparecen problemas relacionados con la infracción de material protegido, la infracción de derechos de autor y la infracción de la propiedad intelectual . ^{[ 10 ]}

También cabe mencionar los problemas de seguridad. Dado que es un sistema que se comunica a través de la red, IoMusT es vulnerable a intentos de robo de datos confidenciales, ataques de denegación de servicio y troyanos . Las posibles soluciones incluyen algoritmos de cifrado , pero esto puede generar un alto consumo de energía y memoria en los dispositivos. ^{[ 42 ]}

Uno de los primeros pensadores en analizar el impacto de la tecnología en la sociedad fue Herbert Marcuse . ^{[ 38 ]} Entre los problemas citados por el autor se encuentran: la abundancia de tecnología para una parte de la población y su escasez para otra; el establecimiento de estándares y exigencias por parte de la clase dominante ; la sumisión de los trabajadores a las grandes corporaciones; la retención del poder económico y la pérdida de la individualidad de pensamiento. Todos estos problemas también están presentes en IoMusT. ^{[ 11 ]}

Además, se pueden acentuar otros problemas, como el acceso no heterogéneo a las tecnologías, ya que las personas que viven en zonas suburbanas o rurales no tienen las mismas posibilidades de acceso que las que viven en zonas más densamente pobladas; la falta de infraestructura, que aumenta la diferencia sociocultural entre personas y clases; el consumo excesivo, la necesidad constante de innovación y el apartheid social. ^{[ 11 ] [ 43 ]}

Si bien IoMusT puede revolucionar la industria musical al proporcionar algoritmos de inteligencia artificial capaces de mezclar y alterar el sonido, reduciendo los costos de producción, también puede impactar negativamente la parte creativa de este campo al reemplazar tareas humanas con soluciones basadas en máquinas, además de causar una reducción de las oportunidades de empleo en el sector. ^{[ 11 ]}

Con el crecimiento de los dispositivos electroelectrónicos generados en esta área, también existe preocupación por los problemas ambientales, especialmente aquellos relacionados con la generación de residuos, la contaminación en la fabricación y el uso de estos materiales, el uso de materiales químicos que pueden ser tóxicos, el uso de recursos no renovables y la posible ocurrencia de perturbaciones ecológicas. ^{[ 44 ] [ 45 ]}

Imagina que, al llegar a un concierto de tu banda favorita, la gente puede elegir diferentes interfaces que la acompañarán durante toda la actuación. Una persona podría optar por unas gafas inteligentes (un dispositivo informático que añade información según lo que ve el usuario), otra por una pulsera que responde a estímulos musicales, y una tercera por un conjunto de sensores y altavoces. Todos estos objetos pueden rastrear los movimientos del usuario y enviar esta información a la pulsera. La pulsera, a su vez, puede adaptar su actuación a las emociones del público, así como enviarles estímulos que serán interpretados por los objetos que llevan puestos. ^{[ 10 ]}

Imaginemos de nuevo a usuarios con dispositivos portátiles capaces de capturar sus datos fisiológicos. Al registrar los movimientos y emociones del usuario (como la frecuencia cardíaca), los músicos pueden decidir qué canción interpretar a continuación, los coreógrafos pueden crear pasos que se adapten mejor a las emociones registradas, y el público puede utilizar estos datos para controlar elementos que contribuyen al espectáculo, como luces y cañones de humo. ^{[ 10 ] [ 46 ]}

Mientras tanto, quienes no pudieron asistir físicamente al concierto pueden disfrutarlo mediante gafas de realidad virtual o sistemas de vídeo de 360°, lo que les permite ver lo que ocurre tras bambalinas en el escenario y los detalles detrás de los músicos. IoMusT también prevé la posibilidad de una aplicación que permita el control remoto. De esta forma, el público, independientemente de su ubicación, podrá modificar aspectos del concierto. ^{[ 10 ] [ 46 ]}

Otro posible escenario es un estudio que utiliza conceptos de IoMusT para grabar a solistas, dúos y pequeños grupos, así como orquestas con diversos instrumentos. Para ello, la interfaz de grabación puede adaptar su tamaño según la cantidad de equipos conectados. Los músicos pueden grabar incluso si no se encuentran en la misma ubicación física, y los archivos de audio pueden grabarse para su posterior mezcla y masterización . ^{[ 46 ]} Otras posibilidades incluyen la captura de audio de un instrumento que no se encuentra en la misma ubicación física, la mezcla y configuración remota de sistemas de audio, la obtención de datos de interpretación de los músicos y muchas otras. ^{[ 10 ]}

El aprendizaje musical se enriquece con IoMusT al permitir el uso de aplicaciones que muestran las partituras a interpretar, capturan audio en tiempo real y sugieren mejoras. Además, se pueden usar gafas inteligentes que indican la posición correcta de los dedos en el instrumento y comparten datos en la nube que los profesores pueden consultar, quienes indicarán las mejoras y los siguientes pasos a seguir. ^{[ 10 ]}

Este modelo se basa en una sesión de improvisación musical que combina instrumentos tradicionales y dispositivos electrónicos que intercambian información a través de una red. Estos instrumentos pueden conectarse a altavoces o a módulos de parcheo, mientras que los usuarios/músicos los manipulan desde sistemas informáticos. Se pueden mostrar elementos gráficos como vídeos, animaciones e información musical para facilitar el proceso; algunos usuarios pueden participar únicamente controlando parámetros de los instrumentos, como el volumen, la grabación, los efectos ( retardo y reverberación , por ejemplo), así como cambiando los colores y la resolución de los gráficos. También es posible contar con un técnico de sonido que gestione las conexiones, eliminando aquellas con baja capacidad de conexión a la red o conectando a quienes deseen intercambiar información. ^{[ 46 ]}