Audición por computadora

La audición computarizada se ocupa de señales de audio que pueden representarse de diversas maneras, desde la codificación directa de audio digital en dos o más canales hasta instrucciones de síntesis representadas simbólicamente. Las señales de audio suelen representarse mediante grabaciones analógicas o digitales . Las grabaciones digitales son muestras de la forma de onda acústica o parámetros de algoritmos de compresión de audio . Una de las propiedades únicas de las señales musicales es que a menudo combinan diferentes tipos de representaciones, como partituras gráficas y secuencias de acciones de interpretación codificadas como archivos MIDI .

Dado que las señales de audio suelen estar compuestas por múltiples fuentes de sonido, a diferencia de las señales de voz, que pueden describirse eficazmente mediante modelos específicos (como el modelo fuente-filtro), resulta difícil diseñar una representación paramétrica para el audio en general. Las representaciones de audio paramétricas suelen utilizar bancos de filtros o modelos sinusoidales para capturar múltiples parámetros de sonido, aumentando a veces el tamaño de la representación para capturar la estructura interna de la señal. Otros tipos de datos relevantes para la audición computarizada son las descripciones textuales del contenido de audio, como anotaciones, reseñas e información visual en el caso de grabaciones audiovisuales.

La descripción del contenido de las señales de audio generales suele requerir la extracción de características que capturen aspectos específicos de la señal. En términos generales, estas características se pueden dividir en descriptores de señal o matemáticos, como la energía, la descripción de la forma espectral, etc.; caracterización estadística, como la detección de cambios o novedades; y representaciones especiales que se adaptan mejor a la naturaleza de las señales musicales o del sistema auditivo, como el crecimiento logarítmico de la sensibilidad ( ancho de banda ) en frecuencia o la invariancia de octava (croma).

Dado que los modelos paramétricos en audio suelen requerir muchos parámetros, las características se utilizan para resumir las propiedades de múltiples parámetros en una representación más compacta o destacada.

Es posible encontrar estructuras musicales específicas utilizando conocimientos musicales, así como métodos de aprendizaje automático supervisado y no supervisado. Algunos ejemplos incluyen la detección de la tonalidad según la distribución de frecuencias que corresponden a patrones de aparición de notas en escalas musicales, la distribución de los tiempos de inicio de las notas para la detección de la estructura rítmica, la distribución de energías en diferentes frecuencias para detectar acordes musicales, entre otros.

La comparación de sonidos puede realizarse comparando sus características con o sin referencia temporal. En algunos casos, se puede evaluar la similitud general mediante valores cercanos de las características entre dos sonidos. En otros casos, cuando la estructura temporal es importante, es necesario aplicar métodos de deformación temporal dinámica para "corregir" las diferentes escalas temporales de los eventos acústicos. Encontrar repeticiones y subsecuencias similares de eventos sonoros es importante para tareas como la síntesis de texturas y la improvisación automática .

Dado que una de las características básicas del audio general es que comprende múltiples fuentes sonoras simultáneas, como varios instrumentos musicales, personas hablando, ruidos de máquinas o vocalizaciones de animales, la capacidad de identificar y separar fuentes individuales es muy deseable. Desafortunadamente, no existen métodos que puedan resolver este problema de manera robusta . Los métodos existentes de separación de fuentes se basan a veces en la correlación entre diferentes canales de audio en grabaciones multicanal . La capacidad de separar fuentes de señales estéreo requiere técnicas diferentes a las que se aplican habitualmente en comunicaciones donde se dispone de múltiples sensores. Otros métodos de separación de fuentes se basan en el entrenamiento o la agrupación de características en grabaciones mono, como el seguimiento de parciales armónicamente relacionados para la detección de múltiples tonos. Algunos métodos, antes del reconocimiento explícito, se basan en revelar estructuras en los datos sin conocer dichas estructuras (como reconocer objetos en imágenes abstractas sin atribuirles etiquetas significativas) al encontrar las representaciones de datos menos complejas, por ejemplo, describiendo escenas de audio como generadas por unos pocos patrones de tonos y sus trayectorias (voces polifónicas) y contornos acústicos dibujados por un tono (acordes). ^{[ 9 ]}

Escuchar música y audio en general no suele ser una actividad orientada a una tarea específica. Las personas disfrutan de la música por diversas razones aún no del todo claras, que comúnmente se relacionan con el efecto emocional que genera, debido a la creación de expectativas y su posterior cumplimiento o incumplimiento. Los animales prestan atención a las señales de peligro en los sonidos, que pueden ser nociones específicas o generales de cambios sorprendentes e inesperados. En general, esto crea una situación en la que la audición computarizada no puede depender únicamente de la detección de características o propiedades sonoras específicas, sino que debe desarrollar métodos generales para adaptarse a un entorno auditivo cambiante y monitorear su estructura. Esto implica el análisis de estructuras de repetición y autosimilitud más amplias en el audio para detectar innovaciones, así como la capacidad de predecir la dinámica de las características locales.

Entre los datos disponibles para describir la música, se encuentran representaciones textuales, como notas de álbumes, reseñas y críticas que describen el contenido de audio con palabras. En otros casos, las reacciones humanas, como juicios emocionales o mediciones psicofisiológicas, pueden aportar información sobre el contenido y la estructura del audio. La Audición Computarizada busca relaciones entre estas diferentes representaciones para brindar una comprensión más profunda del contenido de audio.