Sonificación

La sonificación es el uso de audio no verbal para transmitir información o perceptualizar datos. ^{[ 1 ]} La percepción auditiva tiene ventajas en resolución temporal, espacial, de amplitud y de frecuencia que abren posibilidades como alternativa o complemento a las técnicas de visualización .

Por ejemplo, la frecuencia con la que pulsa un contador Geiger indica el nivel de radiación en las inmediaciones del dispositivo.

Aunque se han explorado muchos experimentos con la sonificación de datos en foros como la Comunidad Internacional para la Visualización Auditiva (ICAD), la sonificación enfrenta muchos desafíos para su uso generalizado en la presentación y el análisis de datos. Por ejemplo, los estudios muestran que es difícil, pero esencial, proporcionar un contexto adecuado para interpretar las sonificaciones de datos. ^{[ 1 ] [ 2 ]} Muchos intentos de sonificación se codifican desde cero debido a la falta de herramientas flexibles para la investigación y la exploración de datos en sonificación. ^{[ 3 ]}

El contador Geiger , inventado en 1908, es una de las primeras y más exitosas aplicaciones de la sonificación. Un contador Geiger consta de un tubo con gas a baja presión; cada partícula detectada produce un pulso de corriente al ionizar el gas, generando un clic audible. La versión original solo podía detectar partículas alfa. En 1928, Geiger y Walther Müller (estudiante de doctorado de Geiger) mejoraron el contador para que pudiera detectar más tipos de radiación ionizante.

En 1913, el Dr. Edmund Fournier d'Albe de la Universidad de Birmingham inventó el optófono , que utilizaba fotosensores de selenio para detectar la tinta negra y convertirla en una señal audible. ^{[ 4 ]} Un lector ciego podía acercar un libro al dispositivo y dirigir un aparato hacia el área que deseaba leer. El optófono reproducía un grupo fijo de notas: g c' d' e' g' b' c e . Cada nota correspondía a una posición en el área de lectura del optófono, y esa nota se silenciaba si se detectaba tinta negra. De esta manera, las notas omitidas indicaban las posiciones donde había tinta negra en la página y que podían usarse para leer.

Pollack y Ficks publicaron los primeros experimentos perceptivos sobre la transmisión de información mediante estímulos auditivos en 1954. ^{[ 5 ]} Experimentaron combinando dimensiones del sonido como el tiempo, la frecuencia, la intensidad, la duración y la espacialización, y descubrieron que podían lograr que los sujetos registraran cambios en múltiples dimensiones a la vez. Estos experimentos no profundizaron mucho más, ya que cada dimensión tenía solo dos valores posibles.

En 1970, Nonesuch Records lanzó una nueva composición de música electrónica del compositor estadounidense Charles Dodge , «El campo magnético de la Tierra ». Fue producida en el Centro de Música Electrónica Columbia-Princeton . Como sugiere el título, los sonidos electrónicos de la composición fueron sintetizados a partir de datos del campo magnético terrestre. Por lo tanto, podría tratarse de la primera sonificación de datos científicos con fines artísticos, más que científicos. ^{[ 6 ]}

John M. Chambers , Max Mathews y F.R. Moore, de los Laboratorios Bell, realizaron los primeros trabajos sobre gráficos auditivos en su memorándum técnico "Inspección de datos auditivos" en 1974. ^{[ 7 ]} Ampliaron un diagrama de dispersión utilizando sonidos que variaban en frecuencia, contenido espectral y modulación de amplitud para su uso en la clasificación. No realizaron ninguna evaluación formal de la efectividad de estos experimentos. ^{[ 8 ]}

En 1976, el filósofo de la tecnología Don Ihde escribió: «Así como la ciencia parece producir un conjunto infinito de imágenes visuales para prácticamente todos sus fenómenos —desde átomos hasta galaxias— nos resultan familiares gracias a los libros ilustrados y las revistas científicas; así también se podrían producir "músicas" a partir de los mismos datos que generan visualizaciones». ^{[ 9 ]} Esta parece ser una de las primeras referencias a la sonificación como práctica creativa.

A principios de 1982, Sara Bly, de la Universidad de California, Davis , publicó dos artículos —con ejemplos— sobre su trabajo acerca del uso de sonido generado por computadora para presentar datos. En ese momento, el campo de la visualización científica estaba cobrando impulso. Entre otras cosas, sus estudios y los ejemplos que los acompañaban comparaban las propiedades entre la presentación visual y la auditiva, demostrando que "el sonido ofrece una mejora y una alternativa a las herramientas gráficas". Su trabajo proporciona datos experimentales iniciales que ayudan a determinar la representación de datos adecuada según su tipo y propósito. ^{[ 10 ] [ 11 ]}

También en la década de 1980, los oxímetros de pulso se generalizaron. Estos dispositivos pueden sonorizar la concentración de oxígeno en sangre emitiendo tonos más agudos a medida que aumenta la concentración. Sin embargo, en la práctica, esta característica particular de los oxímetros de pulso puede no ser ampliamente utilizada por los profesionales médicos debido al riesgo de una sobreestimulación auditiva en entornos clínicos. ^{[ 12 ]}

En 1990, el Centro Nacional de Aplicaciones de Supercomputación comenzó a generar sonificaciones y visualizaciones de datos científicos a partir de los mismos datos fuente, y se presentó un artículo que describía este trabajo en la Conferencia SPIE de junio de 1991 sobre Extracción de Significado de Datos Complejos. ^{[ 13 ]} La información complementaria del artículo incluía un vídeo, ganador del Gran Premio Multimedia Nicograph de 1991, que comprendía varias visualizaciones de datos junto con sus correspondientes sonificaciones de datos.

En 1992, Gregory Kramer fundó la Comunidad Internacional para la Visualización Auditiva (ICAD) como un foro para la investigación en visualización auditiva , incluyendo la sonificación de datos. Desde entonces, ICAD se ha convertido en un punto de encuentro para investigadores de diversas disciplinas interesados ​​en el uso del sonido para transmitir información, a través de su conferencia y actas revisadas por pares. ^{[ 14 ]}

En 2020, el compositor Simon Gray, bajo el nombre de The Winterval Conspiracy, produjo una sonificación del virus SARS-CoV-2 responsable de la pandemia de COVID-19 en forma de fuga musical . ^{[ 15 ]}

En mayo de 2022, la NASA informó sobre la sonificación (conversión de datos astronómicos asociados con ondas de presión en sonido ) del agujero negro en el centro del cúmulo de galaxias de Perseo . ^{[ 16 ] [ 17 ]}

En 2024, Adhyâropa Records lanzó The Volcano Listening Project de Leif Karlstrom, que fusiona la investigación geofísica y la síntesis de música por computadora con interpretaciones instrumentales y vocales acústicas de Billy Contreras , Todd Sickafoose y otros músicos acústicos. ^{[ 18 ]}

• Termómetro auditivo ^{[ 19 ]}
• Biodiversidad ^{[ 20 ]}
• Relojes, por ejemplo, con un tictac audible cada segundo y con campanadas especiales cada 15 minutos ^{[ 21 ].}
• Análisis de clúster de datos de alta dimensión ^{[ 22 ]}
• Pantallas auditivas de la cabina
• ADN ^{[ 23 ] [ 24 ]}
• Monitoreo del mercado financiero ^{[ 25 ] [ 26 ]}
• contador Geiger
• Ondas gravitacionales en LIGO ^{[ 27 ]}
• Sonificación de imágenes para personas con discapacidad visual ^{[ 28 ] [ 29 ]}
• Sonificación interactiva ^{[ 30 ] [ 31 ] [ 32 ]}
• Pantallas auditivas médicas ^{[ 33 ] [ 34 ]} y quirúrgicas ^{[ 35 ] [ 36 ] [ 37 ] [ 38 ] [ 39 ]}
• Pantallas multimodales (que combinan diferentes sentidos) para minimizar la sobrecarga visual y la fatiga.
• Navegación ^{[ 40 ] [ 41 ] [ 42 ] [ 43 ]}
• Ciencias oceánicas ^{[ 44 ]}
• Dinámica del plegamiento de proteínas ^{[ 45 ] [ 46 ]}
• Oximetría de pulso en quirófanos y cuidados intensivos ^{[ 47 ] [ 48 ] [ 49 ]}
• Sonar
• Física espacial ^{[ 50 ]}
• Sonificación de tormentas y clima ^{[ 51 ] [ 52 ]}
• Sinestesia ^{[ 53 ]}
• Inclinación ^{[ 54 ]} basada en sonificación psicoacústica ^{[ 42 ] [ 43 ]}
• El variómetro (indicador de velocidad de ascenso) de un planeador emite un pitido con un tono variable que corresponde a la lectura del medidor.
• Alarma de velocidad del vehículo
• Detección de actividad volcánica
• Sonificación de vídeo ^{[ 55 ] [ 56 ]}

Se pueden modificar muchos componentes para cambiar la percepción del sonido por parte del usuario y, a su vez, su percepción de la información subyacente que se está presentando. A menudo, un aumento o disminución en algún nivel de esta información se indica mediante un aumento o disminución del tono , la amplitud o el tempo , pero también podría indicarse variando otros componentes menos comunes. Por ejemplo, el precio de una acción en el mercado bursátil podría representarse con un tono ascendente a medida que el precio sube y un tono descendente a medida que baja. Para que el usuario pueda determinar que se está presentando más de una acción, se podrían usar diferentes timbres o brillos para cada una, o bien, reproducirlas desde diferentes puntos del espacio, por ejemplo, a través de diferentes lados de sus auriculares.

Se han realizado numerosos estudios para encontrar las mejores técnicas para presentar distintos tipos de información, pero aún no se ha formulado un conjunto definitivo de técnicas. Dado que el campo de la sonificación todavía se considera incipiente, los estudios actuales se centran en determinar el conjunto óptimo de componentes sonoros que varíen según las diferentes situaciones.

Se pueden clasificar varias técnicas diferentes para la reproducción auditiva de datos:

• Sonificación acústica ^{[ 57 ]}
• Audición
• Sonificación basada en modelos
• Mapeo de parámetros
• Sonificación basada en flujo ^{[ 58 ] [ 59 ]}

Un enfoque alternativo a la sonificación tradicional es la "sonificación por sustitución", por ejemplo, el Procesamiento Afectivo Melódico Pulsado (PMAP). ^{[ 60 ] [ 61 ] [ 62 ]} En PMAP, en lugar de sonorizar un flujo de datos, el protocolo computacional son los propios datos musicales, por ejemplo, MIDI. El flujo de datos representa un estado no musical; en PMAP, un estado afectivo. Los cálculos se pueden realizar directamente sobre los datos musicales y los resultados se pueden escuchar con una mínima traducción.

Aunque en el espacio no hay sonido, la sonificación de datos se puede aplicar a los datos digitales que se transforman en imágenes para convertirlos en sonido. A los elementos de la imagen, como el brillo y la posición, se les asignan tonos y volúmenes. La NASA señaló que «las sonificaciones ofrecen una nueva forma de experimentar y conceptualizar los datos. Permiten al público, incluidas las personas ciegas y con discapacidad visual, “escuchar” imágenes astronómicas y explorar sus datos». ^{[ 63 ] [ 64 ]}

• Visualización auditiva : uso del sonido para comunicar información desde una computadora al usuario. 
• Música por ordenador : aplicación de la tecnología informática en la música. 
• Música e inteligencia artificial : uso de la inteligencia artificial para generar música. Páginas que muestran breves descripciones de los destinos de redireccionamiento. 

• Comunidad Internacional para la Visualización Auditiva
• El informe Sonification Report (1997) ofrece una introducción al estado actual del campo y a las agendas de investigación vigentes.
• El Manual de Sonificación , un libro de acceso abierto que ofrece una presentación introductoria completa de las áreas clave de investigación en sonificación y visualización auditiva.
• Uso del sonido para extraer significado de datos complejos , C. Scaletti y A. Craig, 1991. Vídeo de apoyo.
• Diseño de información auditiva , tesis doctoral de Stephen Barrass, 1998, Enfoque centrado en el usuario para el diseño de sonificaciones.
• Mozzi  : sonorización interactiva de sensores en un microprocesador Arduino.
• Informe preliminar sobre la justificación del diseño, la sintaxis y la semántica de LSL: un lenguaje de especificación para la auralización de programas, D. Boardman y AP Mathur, 1993.
• Un lenguaje de especificación para la auralización de programas, D. Boardman, V. Khandelwal y AP Mathur, 1994.
• Tutorial de sonificación
• Entorno general de sonificación SonEnvir
• Sonification.de ofrece información sobre sonificación y visualización auditiva, enlaces a eventos interesantes y proyectos relacionados.
• Sonificación para el análisis exploratorio de datos , tesis doctoral de Thomas Hermann, 2002, sobre el desarrollo de la sonificación basada en modelos.
• Sonificación de las comunicaciones móviles e inalámbricas
• Sonificación interactiva: un centro de noticias y próximos eventos en el campo de la sonificación interactiva.
• asociación espacio-temporal de orden cero
• CodeSounding es un marco de sonorización de código abierto que permite escuchar cómo suena cualquier programa Java existente , asignando instrumentos y tonos a las sentencias del código (if, for, etc.) y reproduciéndolos a medida que se ejecutan en tiempo de ejecución. De esta forma, el flujo de ejecución se reproduce como una melodía cuyo ritmo cambia según la interacción del usuario.
• LYCAY , una biblioteca Java para la sonorización de código fuente Java.
• Sonificación de un conjunto de Cantor
• Sonification Sandbox v.3.0 , un programa Java para convertir conjuntos de datos en sonidos, GT Sonification Lab, Escuela de Psicología, Instituto Tecnológico de Georgia .
• Programación de sonificación con Java , un capítulo en línea (con código) que explica cómo implementar la sonificación utilizando síntesis de voz, generación de notas MIDI y clips de audio.
• Biosonificación , una colección de sonificaciones generativas de plantas y hongos.
• Sonificación en vivo del oleaje oceánico