Red neuronal con retardo de tiempo

En lenguaje moderno, el diseño de TDNN es una red neuronal convolucional 1D , donde la dirección de la convolución es a través de la dimensión del tiempo. En el diseño original, hay exactamente 3 capas.

La entrada a la red es una señal de voz continua, preprocesada en una matriz 2D (un espectrograma en escala Mel ). Una dimensión es el tiempo, con 10 ms por trama, y ​​la otra es la frecuencia. La dimensión temporal puede ser arbitrariamente larga, pero la de frecuencia solo tenía 16 tramas. En el experimento original, solo se consideraron señales de voz muy cortas que pronunciaban palabras sueltas como "baa", "daa", "gaa". Por ello, las señales de voz podían ser muy cortas, de hecho, de tan solo 15 tramas (150 ms de duración).

En detalle, procesaron una señal de voz de la siguiente manera:

• El habla de entrada se muestrea a 12  kHz, con ventana de Hamming .
• Su transformada rápida de Fourier (FFT) se calcula cada 5 ms.
• Los coeficientes de la escala Mel se calculan a partir del espectro de potencia tomando los logaritmos de las energías en cada banda de energía de la escala Mel.
• Los coeficientes adyacentes en el tiempo se suavizan, lo que da como resultado un fotograma cada 10 ms.
• Para cada señal, un humano detecta manualmente el inicio de la vocal, y se recorta toda la señal de voz excepto 7 fotogramas antes y 7 fotogramas después, dejando solo 15 fotogramas en total, centrados en el inicio de la vocal.
• Los coeficientes se normalizan restando la media y luego escalándolos, de modo que las señales se encuentren entre -1 y +1.

La primera capa de la TDNN es una capa convolucional 1D. La capa contiene 8 núcleos de forma${\displaystyle 3\times 16}$. Genera un tensor de forma${\displaystyle 8\times 13}$.

La segunda capa de la TDNN es una capa convolucional 1D. La capa contiene 3 núcleos de forma${\displaystyle 5\times 8}$. Genera un tensor de forma${\displaystyle 3\times 9}$.

La tercera capa de la TDNN no es una capa convolucional. En cambio, es simplemente una capa fija con 3 neuronas. Sea la salida de la segunda capa.${\displaystyle x_{i,j}}$dónde ${\displaystyle i\in 1:3}$y${\displaystyle j\in 1:9}$. El${\displaystyle i}$-la neurona -ésima en la tercera capa calcula${\displaystyle \sigma (\sum _{j\in 1:9}x_{i,j})}$, dónde${\displaystyle \sigma }$es la función sigmoide . Esencialmente, se puede pensar como una capa de convolución con 3 núcleos de forma${\displaystyle 1\times 9}$.

Se entrenó con aproximadamente 800 muestras durante 20 000 a 50 000 pasos de retropropagación . Cada paso se calculó en lotes sobre todo el conjunto de datos de entrenamiento, es decir, no fue estocástico . Requirió el uso de una supercomputadora Alliant con 4 procesadores.

En el caso de una señal de voz, las entradas son coeficientes espectrales a lo largo del tiempo.

Para aprender características acústico-fonéticas críticas (por ejemplo, transiciones de formantes, explosiones, fricción, etc.) sin necesidad de una localización precisa, la TDNN se entrena de forma invariante al desplazamiento temporal. Esta invariancia se logra mediante el uso compartido de pesos a lo largo del tiempo durante el entrenamiento: se crean copias desplazadas en el tiempo de la TDNN sobre el rango de entrada (de izquierda a derecha en la Fig. 1). A continuación, se realiza la retropropagación a partir de un vector objetivo de clasificación general (véase el diagrama de la TDNN; en la capa de salida se muestran tres objetivos de clase de fonema (/b/, /d/, /g/)), lo que da como resultado gradientes que generalmente varían para cada una de las copias de la red desplazadas en el tiempo. Sin embargo, dado que estas redes desplazadas en el tiempo son solo copias, la dependencia de la posición se elimina mediante el uso compartido de pesos. En este ejemplo, esto se logra promediando los gradientes de cada copia desplazada en el tiempo antes de realizar la actualización de pesos. En el habla, se ha demostrado que el entrenamiento invariante al desplazamiento temporal aprende matrices de pesos que son independientes del posicionamiento preciso de la entrada. También se podría demostrar que las matrices de pesos detectan características acústico-fonéticas importantes que se sabe que son importantes para la percepción del habla humana, como transiciones de formantes, ráfagas, etc. ^{[ 1 ]} Las TDNN también podrían combinarse o ampliarse mediante preentrenamiento. ^{[ 9 ]}

La arquitectura precisa de las TDNN (retardos de tiempo, número de capas) la determina principalmente el diseñador en función del problema de clasificación y los tamaños de contexto más útiles. Los retardos o ventanas de contexto se eligen específicamente para cada aplicación. También se ha trabajado en la creación de TDNN con retardo de tiempo adaptables ^{[ 10 ],} donde se elimina este ajuste manual.

Los reconocedores de fonemas basados ​​en TDNN se compararon favorablemente en comparaciones iniciales con modelos de fonemas basados ​​en HMM. ^{[ 1 ] [ 9 ]} Las arquitecturas TDNN profundas modernas incluyen muchas más capas ocultas y submuestrean o agrupan conexiones sobre contextos más amplios en capas superiores. Logran hasta un 50 % de reducción de errores de palabras sobre los modelos acústicos basados ​​en GMM . ^{[ 11 ] [ 12 ]} Si bien las diferentes capas de las TDNN están diseñadas para aprender características de un ancho de contexto creciente, también modelan contextos locales. Cuando se deben procesar relaciones de mayor distancia y secuencias de patrones, el aprendizaje de estados y secuencias de estados es importante y las TDNN se pueden combinar con otras técnicas de modelado. ^{[ 13 ] [ 3 ] [ 4 ]} Las arquitecturas TDNN también se han adaptado a las redes neuronales de picos , lo que ha dado lugar a resultados de vanguardia y se presta a implementaciones de hardware energéticamente eficientes . ^{[ 14 ]}

Las TDNN se utilizaban para resolver problemas de reconocimiento de voz y se introdujeron en 1989 ^{[ 2 ]} , centrándose inicialmente en el reconocimiento de fonemas invariante al desplazamiento temporal. El habla se presta bien a las TDNN, ya que los sonidos hablados rara vez tienen una longitud uniforme y la segmentación precisa es difícil o imposible. Al escanear un sonido en el pasado y el futuro, la TDNN puede construir un modelo para los elementos clave de ese sonido de manera invariante al desplazamiento temporal. Esto es particularmente útil ya que los sonidos se difuminan por la reverberación. ^{[ 11 ] [ 12 ]} Las grandes TDNN fonéticas se pueden construir modularmente mediante el preentrenamiento y la combinación de redes más pequeñas. ^{[ 9 ]}

El reconocimiento de voz con vocabulario extenso requiere reconocer secuencias de fonemas que componen palabras, sujetas a las restricciones de un amplio vocabulario de pronunciación. La integración de redes neuronales con retardo de tiempo (TDNN) en reconocedores de voz con vocabulario extenso es posible mediante la introducción de transiciones de estado y búsqueda entre los fonemas que componen una palabra. La red neuronal con retardo de tiempo multiestado (MS-TDNN) resultante puede entrenarse de forma discriminativa a nivel de palabra, optimizando así toda la configuración hacia el reconocimiento de palabras en lugar de la clasificación de fonemas. ^{[ 13 ] [ 15 ] [ 4 ]}

Se propusieron variantes bidimensionales de las TDNN para la independencia del hablante. ^{[ 3 ]} Aquí, la invariancia de desplazamiento se aplica al eje del tiempo y al eje de la frecuencia para aprender características ocultas que son independientes de la ubicación precisa en el tiempo y en la frecuencia (esta última debido a la variabilidad del hablante).

Uno de los problemas persistentes en el reconocimiento de voz es reconocer el habla cuando está corrompida por eco y reverberación (como ocurre en salas grandes y con micrófonos distantes). La reverberación puede considerarse como una corrupción del habla con versiones retardadas de sí misma. Sin embargo, en general, es difícil eliminar la reverberación de una señal, ya que la función de respuesta impulsional (y, por lo tanto, el ruido convolucional que experimenta la señal) no se conoce para ningún espacio arbitrario. Se ha demostrado que la TDNN es eficaz para reconocer el habla de forma robusta a pesar de los diferentes niveles de reverberación. ^{[ 11 ] [ 12 ]}

Las TDNN también se utilizaron con éxito en las primeras demostraciones de habla audiovisual, donde los sonidos del habla se complementan con la lectura visual del movimiento de los labios. ^{[ 15 ]} En este caso, los reconocedores basados ​​en TDNN utilizaron características visuales y acústicas conjuntamente para lograr una mayor precisión de reconocimiento, particularmente en presencia de ruido, donde la información complementaria de una modalidad alternativa podía fusionarse de manera óptima en una red neuronal.

Las TDNN se han utilizado eficazmente en sistemas de reconocimiento de escritura a mano compactos y de alto rendimiento . ^{[ 16 ]} La invariancia de desplazamiento también se adaptó a patrones espaciales (ejes x/y) en el reconocimiento de escritura a mano fuera de línea de imágenes. ^{[ 4 ]}

El vídeo posee una dimensión temporal que convierte a la TDNN en una solución ideal para analizar patrones de movimiento. Un ejemplo de este análisis es la combinación de detección de vehículos y reconocimiento de peatones. ^{[ 17 ]} Al examinar vídeos, las imágenes subsiguientes se introducen en la TDNN como entrada, donde cada imagen es el siguiente fotograma del vídeo. La fortaleza de la TDNN reside en su capacidad para examinar objetos desplazados en el tiempo hacia adelante y hacia atrás, definiendo así un objeto detectable a medida que se modifica el tiempo. Si un objeto puede reconocerse de esta manera, una aplicación puede planificar su detección futura y realizar una acción óptima.

Posteriormente, las redes neuronales TDNN bidimensionales se aplicaron a otras tareas de reconocimiento de imágenes bajo el nombre de " Redes Neuronales Convolucionales ", donde se aplica un entrenamiento invariante a la traslación a los ejes x/y de una imagen.

• Las redes neuronales convolucionales trípticas (TDNN) se pueden implementar en prácticamente todos los marcos de aprendizaje automático que utilizan redes neuronales convolucionales unidimensionales , debido a la equivalencia de los métodos.
• Matlab : La caja de herramientas de redes neuronales tiene una funcionalidad explícita diseñada para producir una red neuronal con retardo de tiempo, especificando el tamaño del paso de los retardos y una función de entrenamiento opcional. El algoritmo de entrenamiento predeterminado es un algoritmo de retropropagación de aprendizaje supervisado que actualiza los pesos del filtro basándose en las optimizaciones de Levenberg-Marquardt. La función es timedelaynet(delays, hidden_layers, train_fnc) y devuelve una arquitectura de red neuronal con retardo de tiempo que el usuario puede entrenar y a la que puede proporcionar entradas. ^{[ 18 ]}
• El kit de herramientas Kaldi ASR tiene una implementación de TDNN con varias optimizaciones para el reconocimiento de voz. ^{[ 19 ]}