Espectrograma

Un espectrograma es una representación visual del espectro de frecuencias de una señal a medida que varía con el tiempo. Cuando se aplica a una señal de audio , los espectrogramas a veces se denominan sonografías , huellas vocales o vocalogramas . Cuando los datos se representan en un gráfico 3D, se les puede llamar diagramas de cascada .

Los espectrogramas se utilizan ampliamente en los campos de la música , la lingüística , el sonar , el radar , el procesamiento del habla , ^{[ 1 ]} la sismología , la ornitología y otros. Los espectrogramas de audio se pueden utilizar para identificar palabras habladas fonéticamente y para analizar las diversas llamadas de los animales .

Un espectrograma puede generarse mediante un espectrómetro óptico , un banco de filtros de paso de banda , mediante la transformada de Fourier o mediante la transformada wavelet ( en cuyo caso también se conoce como escalograma ). ^{[ 2 ]}

Un espectrograma se suele representar como un mapa de calor , es decir, como una imagen donde la intensidad se muestra variando el color o el brillo .

Un formato común es un gráfico con dos dimensiones geométricas: un eje representa el tiempo y el otro la frecuencia ; una tercera dimensión, que indica la amplitud de una frecuencia determinada en un momento dado, está representada por la intensidad o el color de cada punto de la imagen.

Existen muchas variaciones de formato: a veces se intercambian los ejes vertical y horizontal, de modo que el tiempo avanza verticalmente; otras veces se utiliza un gráfico de cascada donde la amplitud se representa mediante la altura de una superficie 3D en lugar de color o intensidad. Los ejes de frecuencia y amplitud pueden ser lineales o logarítmicos , según el uso que se le dé al gráfico. El audio generalmente se representa con un eje de amplitud logarítmico (probablemente en decibelios , o dB), y la frecuencia sería lineal para enfatizar las relaciones armónicas, o logarítmica para enfatizar las relaciones musicales y tonales.

Los espectrogramas de luz pueden crearse directamente utilizando un espectrómetro óptico a lo largo del tiempo.

Los espectrogramas pueden crearse a partir de una señal en el dominio del tiempo de dos maneras: aproximándose como un banco de filtros resultante de una serie de filtros paso banda (esta era la única forma antes de la llegada del procesamiento digital de señales moderno), o calculándose a partir de la señal temporal mediante la transformada de Fourier . Estos dos métodos generan dos representaciones tiempo-frecuencia diferentes , pero son equivalentes bajo ciertas condiciones.

El método de filtros de paso de banda generalmente utiliza procesamiento analógico para dividir la señal de entrada en bandas de frecuencia; la magnitud de la salida de cada filtro controla un transductor que registra el espectrograma como una imagen en papel. ^{[ 3 ]}

La creación de un espectrograma mediante la FFT es un proceso digital . Los datos muestreados digitalmente , en el dominio del tiempo , se dividen en segmentos que generalmente se superponen y se transforman mediante la transformada de Fourier para calcular la magnitud del espectro de frecuencia de cada segmento. Cada segmento corresponde a una línea vertical en la imagen; una medición de magnitud frente a frecuencia para un momento específico en el tiempo (el punto medio del segmento). Estos espectros o gráficos temporales se colocan uno al lado del otro para formar la imagen o una superficie tridimensional ^{[ 4 ]} , o se superponen ligeramente de diversas maneras, es decir, mediante el uso de ventanas . Este proceso corresponde esencialmente al cálculo de la magnitud al cuadrado de la transformada de Fourier de tiempo corto (STFT) de la señal.${\displaystyle s(t)}$— es decir, para un ancho de ventana${\displaystyle \omega }$,${\displaystyle \mathrm {spectrograma} (t,\omega )=\left|\mathrm {STFT} (t,\omega )\right|^{2}}$. ^{[ 5 ]}

Según la fórmula anterior, un espectrograma no contiene información sobre la fase exacta, ni siquiera aproximada, de la señal que representa. Por esta razón, no es posible revertir el proceso y generar una copia de la señal original a partir de un espectrograma, aunque en situaciones donde la fase inicial exacta no es importante, puede ser posible generar una aproximación útil de la señal original. El espectrógrafo de sonido de análisis y resíntesis ^{[ 6 ]} es un ejemplo de un programa informático que intenta realizar esta tarea. El sistema de reproducción de patrones era un sintetizador de voz primitivo, diseñado en los Laboratorios Haskins a finales de la década de 1940, que convertía imágenes de los patrones acústicos del habla (espectrogramas) de nuevo en sonido.

De hecho, hay cierta información de fase en el espectrograma, pero aparece de otra forma, como retardo de tiempo (o retardo de grupo ) que es el dual de la frecuencia instantánea . ^{[ 7 ]}

El tamaño y la forma de la ventana de análisis pueden variar. Una ventana más pequeña (más corta) producirá resultados más precisos en la temporización, a costa de la precisión en la representación de la frecuencia. Una ventana más grande (más larga) proporcionará una representación de frecuencia más precisa, a costa de la precisión en la representación de la temporización. Este es un ejemplo del principio de incertidumbre de Heisenberg , que establece que el producto de la precisión en dos variables conjugadas es mayor o igual que una constante (B*T>=1 en la notación habitual). ^{[ 8 ]}

• Los primeros espectrogramas analógicos se aplicaron a una amplia gama de áreas, incluyendo el estudio de los cantos de las aves (como el del carbonero común ), y la investigación actual continúa utilizando equipos digitales modernos ^{[ 9 ]} y se aplica a todos los sonidos animales. El uso contemporáneo del espectrograma digital es especialmente útil para estudiar la modulación de frecuencia (FM) en los cantos animales. Específicamente, las características distintivas de los chirridos FM, los clics de banda ancha y la armonización social se visualizan con mayor facilidad mediante el espectrograma.
• Los espectrogramas son útiles para ayudar a superar los déficits del habla y en el entrenamiento del habla para la parte de la población que es profundamente sorda . ^{[ 10 ]}
• Los estudios de fonética y síntesis de voz a menudo se facilitan mediante el uso de espectrogramas. ^{[ 11 ] [ 12 ]}
• En la síntesis de voz basada en aprendizaje profundo, el espectrograma (o espectrograma en escala Mel ) se predice primero mediante un modelo seq2seq, y luego el espectrograma se introduce en un vocoder neuronal para obtener la forma de onda sin procesar sintetizada.
• Al invertir el proceso de producción de un espectrograma, es posible crear una señal cuyo espectrograma sea una imagen arbitraria. Esta técnica puede utilizarse para ocultar una imagen en una pieza de audio y ha sido empleada por varios artistas de música electrónica . ^{[ 13 ]} Véase también Esteganografía .
• Parte de la música moderna se crea utilizando espectrogramas como medio intermedio; se modifica la intensidad de diferentes frecuencias a lo largo del tiempo, o incluso se crean otras nuevas, dibujándolas y luego aplicándoles una transformación inversa. Véase Modificación de tono y escala de tiempo de audio y Vocoder de fase .
• Los espectrogramas se pueden utilizar para analizar los resultados de pasar una señal de prueba a través de un procesador de señales, como un filtro, para comprobar su rendimiento. ^{[ 14 ]}
• Los espectrogramas de alta definición se utilizan en el desarrollo de sistemas de radiofrecuencia y microondas. ^{[ 15 ]}
• Los espectrogramas se utilizan ahora para mostrar los parámetros de dispersión medidos con analizadores de redes vectoriales. ^{[ 16 ]}
• El Servicio Geológico de los Estados Unidos y el Consorcio IRIS proporcionan visualizaciones de espectrogramas casi en tiempo real para el monitoreo de estaciones sísmicas. ^{[ 17 ] [ 18 ]}
• Los espectrogramas se pueden utilizar con redes neuronales recurrentes para el reconocimiento de voz . ^{[ 19 ] [ 20 ]}
• En una señal de vibración, la escala de color de un espectrograma identifica las frecuencias de los picos de amplitud de una forma de onda a lo largo del tiempo. A diferencia de un gráfico de tiempo o frecuencia, un espectrograma correlaciona los valores máximos con el tiempo y la frecuencia. Los ingenieros de pruebas de vibración utilizan espectrogramas para analizar el contenido de frecuencia de una forma de onda continua, localizando señales fuertes y determinando cómo cambia el comportamiento de la vibración con el tiempo. ^{[ 21 ]}
• Los espectrogramas se pueden utilizar para analizar el habla en dos aplicaciones diferentes: detección automática de déficits del habla en usuarios de implantes cocleares y reconocimiento de clases de fonemas para extraer características de atributos fonéticos. ^{[ 22 ]}
• Para obtener las características de pronunciación de un hablante, algunos investigadores propusieron un método basado en una idea de la biónica, que utiliza estadísticas de espectrogramas para lograr un espectrograma característico que proporcione una representación estable de la pronunciación del hablante a partir de una superposición lineal de espectrogramas de corta duración. ^{[ 23 ]}
• Los investigadores exploran un nuevo enfoque para el análisis de señales de ECG mediante técnicas de espectrograma, posiblemente para mejorar la visualización y la comprensión. La integración de MFCC para la extracción de características sugiere una aplicación interdisciplinaria, tomando prestados métodos del procesamiento de audio para extraer información relevante de señales biomédicas. ^{[ 24 ]}
• La interpretación precisa de la pintura indicadora de temperatura (TIP) es de gran importancia en la aviación y otras aplicaciones industriales. El espectrograma 2D de la TIP puede utilizarse para la interpretación de la temperatura. ^{[ 25 ]}
• El espectrograma se puede utilizar para procesar la señal y determinar la tasa de cambio del tórax humano. Al visualizar las señales respiratorias mediante un espectrograma, los investigadores han propuesto un método para clasificar los estados respiratorios basado en un modelo de red neuronal. ^{[ 26 ]}

• Vea un espectrograma en línea del habla u otros sonidos capturados por el micrófono de su computadora.
• Generar una secuencia de tonos cuyo espectrograma coincida con un texto arbitrario, en línea
• Información adicional sobre cómo crear una señal cuyo espectrograma sea una imagen arbitraria
• Artículo que describe el desarrollo de un espectrograma de software.
• Historia de los espectrogramas y desarrollo de la instrumentación.
• Cómo identificar las palabras en un espectrograma de la publicación mensual "Espectrograma Misterioso" de un profesor de lingüística .
• Sonogram Visible Speech es un software gratuito con licencia GPL para la generación de espectrogramas a partir de archivos de señal.