MUSHRA

MUSHRA significa Estímulos Múltiples con Referencia y Anclaje Ocultos y es una metodología para realizar una prueba de escucha de códec para evaluar la calidad percibida de la salida de algoritmos de compresión de audio con pérdidas . Está definida por la recomendación ITU-R BS.1534-3. ^{[ 1 ]} La metodología MUSHRA se recomienda para evaluar la "calidad de audio intermedia". Para deficiencias de audio muy pequeñas o sensibles, se recomienda la recomendación ITU-R BS.1116-3 (ABC/HR).

MUSHRA se puede utilizar para probar códecs de audio en un amplio espectro de casos de uso: consumo de música y películas, voz (por ejemplo, en podcasts y radio) , transmisión en línea (donde el equilibrio entre calidad y eficiencia en cuanto a tamaño y procesamiento es fundamental), telefonía digital moderna y aplicaciones VoIP (que requieren codificación casi en tiempo real y de baja tasa de bits que siga siendo inteligible). Los usos profesionales, audiófilos y de usuarios avanzados suelen ser más adecuados para pruebas alternativas, como la mencionada ABC/HR, que parten de la premisa de un audio de alta calidad y alta resolución , donde habrá mínimas diferencias detectables entre el material de referencia y la salida del códec.

La principal ventaja de MUSHRA sobre la metodología de puntuación media de opinión (MOS), que cumple una función similar, radica en que requiere menos participantes para obtener resultados estadísticamente significativos. Esto se debe a que todos los códecs se presentan simultáneamente a los mismos participantes, lo que permite utilizar una prueba t pareada o un análisis de varianza de medidas repetidas para el análisis estadístico. Además, la escala de 0 a 100 empleada por MUSHRA permite expresar diferencias perceptibles con un alto grado de detalle, especialmente en comparación con la escala Likert modificada de 0 a 5, frecuentemente utilizada en los experimentos MOS.

En MUSHRA, al oyente se le presenta la referencia (etiquetada como tal), una cierta cantidad de muestras de prueba, una versión oculta de la referencia y uno o más anclajes (es decir, codificaciones gravemente deterioradas que tanto los experimentadores como los participantes deben reconocer inmediatamente como tales; se utilizan de forma similar a la referencia para proporcionar una línea base que demuestre —«anclaje»— a los participantes la realidad del extremo inferior de la escala de calidad). La recomendación especifica que se deben incluir un anclaje de rango bajo y uno de rango medio en las señales de prueba. Estos suelen ser una versión de paso bajo de 7  kHz y otra de 3,5  kHz de la referencia. El propósito de los anclajes es calibrar la escala para que los artefactos menores no se penalicen indebidamente. Esto es particularmente importante al comparar o agrupar resultados de diferentes laboratorios.

Tanto las pruebas MUSHRA como ITU BS.1116 ^{[ 2 ]} requieren oyentes expertos capacitados que conozcan el sonido típico de los artefactos y dónde es probable que ocurran. Los oyentes expertos también comprenden mejor la escala de calificación, lo que genera resultados más repetibles que con oyentes no capacitados. Por lo tanto, con oyentes capacitados, se necesita un menor número de participantes para obtener resultados estadísticamente significativos .

Se asume que las preferencias son similares para oyentes expertos y oyentes inexpertos, por lo que los resultados de los oyentes expertos también son predictivos para los consumidores. De acuerdo con esta suposición, Schinkel-Bielefeld et al. no encontraron diferencias en el orden de clasificación entre oyentes expertos y oyentes no entrenados al usar señales de prueba que contenían solo timbre y ningún artefacto espacial. ^{[ 3 ]} Sin embargo, Rumsey et al. demostraron que, para señales que contienen artefactos espaciales, los oyentes expertos les dan un peso ligeramente mayor que los oyentes no entrenados, quienes se centran principalmente en los artefactos de timbre. ^{[ 4 ]}

Además, se ha demostrado que los oyentes expertos utilizan más la opción de escuchar repetidamente secciones más pequeñas de las señales bajo prueba y realizan más comparaciones entre las señales bajo prueba y la referencia. ^{[ 3 ]} A diferencia del oyente inexperto que emite una calificación de preferencia, los oyentes expertos, por lo tanto, emiten una calificación de calidad de audio, calificando las diferencias entre la señal bajo prueba y el original sin comprimir, que es el objetivo real de una prueba MUSHRA.

Las directrices de MUSHRA describen dos posibilidades principales para evaluar la fiabilidad de un oyente (que se describen a continuación).

La opción más sencilla y común es descalificar, a posteriori , a todos los oyentes que califiquen la referencia oculta repetidamente por debajo de 90 puntos MUSHRA para más del 15 % de todos los elementos de la prueba. En el caso ideal, la referencia oculta debería calificarse con 100 puntos para indicar la equivalencia perceptual con el audio de referencia original. Si bien puede ocurrir que la referencia oculta y una señal de alta calidad se confundan, la especificación establece que una calificación inferior a 90 solo debe otorgarse cuando el oyente esté seguro de que la señal calificada es diferente de la referencia original, por lo que una calificación inferior a 90 para la referencia oculta se considera un error claro y evidente del oyente.

La otra posibilidad para evaluar el desempeño de un oyente es eGauge , ^{[ 5 ]} un marco basado en el análisis de varianza (ANOVA). Calcula la concordancia , la repetibilidad y la discriminabilidad , aunque solo se recomiendan las dos últimas para la preselección o postselección. La concordancia es el ANOVA de la concurrencia de un oyente con el resto de los oyentes. La repetibilidad examina la fiabilidad interna del individuo al calificar la misma señal de prueba nuevamente en comparación con la varianza de las otras señales de prueba. La discriminabilidad analiza una especie de fiabilidad entre pruebas al verificar que los oyentes pueden distinguir entre señales de prueba de diferentes condiciones. Como eGauge requiere escuchar cada señal de prueba dos veces, su uso es temporalmente ineficiente a corto plazo en relación con el método anterior de postselección de oyentes basado en una referencia oculta. eGauge tiene ventajas cuando se usa con una perspectiva a largo plazo. Elimina la pequeña probabilidad de una repetición completa en el raro caso en el que los resultados de una muestra carecen de suficiente potencia estadística debido a una tasa de falla excesiva descubierta a posteriori. Además, la ineficiencia inicial puede amortizarse a lo largo de una serie de experimentos eliminando la necesidad de fases de reclutamiento: si un oyente ha demostrado ser fiable utilizando eGauge, también puede considerarse un oyente fiable para futuras pruebas de escucha, siempre que la naturaleza de la prueba no se altere sustancialmente (por ejemplo, un oyente fiable para pruebas estéreo no es necesariamente igual de bueno para percibir artefactos en configuraciones 5.1 o 22.2 o incluso en formatos mono ).

Es importante seleccionar elementos de prueba críticos. En concreto, elementos difíciles de codificar y propensos a generar artefactos. Asimismo, estos elementos deben tener validez ecológica : deben ser representativos del material emitido y no meras señales sintéticas diseñadas para ser difíciles de codificar a costa del realismo. Ekeroot et al. presentan un método para seleccionar material crítico mediante un procedimiento de clasificación por eliminación. ^{[ 6 ]} Si bien este método es eficaz para seleccionar los elementos de prueba más críticos, no garantiza la inclusión de una variedad de elementos propensos a generar diferentes artefactos.

Idealmente, un elemento de prueba MUSHRA debería mantener características similares durante toda su duración (por ejemplo, el uso de instrumentación consistente en la música o la misma voz de la persona con cadencia y tono similares en el audio hablado). Puede ser difícil para el oyente decidir una calificación MUSHRA unidimensional si algunas partes de los elementos muestran artefactos diferentes o artefactos más fuertes en comparación con otras partes, lo cual se hace más probable por grandes variaciones en las características del audio. ^{[ 7 ]} A menudo, los elementos más cortos conducen a menos variabilidad, ya que muestran mayor estacionariedad (consistencia y constancia perceptual). ^{[ 8 ]} Sin embargo, incluso al intentar elegir elementos estacionarios, los estímulos ecológicamente válidos (es decir, audio que es probable que aparezca o similar al que es probable que aparezca en situaciones del mundo real, como en la radio) muy a menudo tendrán secciones que son ligeramente más críticas que el resto de la señal (ejemplos incluyen palabras clave en un discurso o frases principales de música y dependen del tipo de estímulo). La estacionariedad es importante ya que los oyentes que se centran en diferentes secciones de la señal tienden a evaluarla de manera diferente. Los oyentes que son más analíticos parecen ser mejores para identificar las regiones más críticas de un estímulo que aquellos que son menos analíticos. ^{[ 9 ]}

• webMUSHRA: un software experimental basado en una API de audio web compatible con MUSHRA, configurable mediante YAML.
• RateIt: Una interfaz gráfica de usuario para realizar experimentos MUSHRA
• MUSHRAM - Una interfaz de Matlab para pruebas de escucha de MUSHRAM en la Wayback Machine (archivado el 19/10/2008)
• Una interfaz Max/MSP para pruebas de escucha MUSHRA
• Una herramienta de evaluación de audio basada en navegador para ejecutar diversas pruebas, incluyendo MUSHRA. No se requiere programación.
• BeaqleJS: Marco de trabajo basado en HTML5 y JavaScript para pruebas de escucha.
• mushraJS+Server: basado en mushraJS con el servidor mochiweb, que es un servidor web Erlang.