NETtalk (red neuronal artificial)

NETtalk es una red neuronal artificial que aprende a pronunciar texto escrito en inglés mediante aprendizaje supervisado. Recibe texto en inglés como entrada y produce transcripciones fonéticas coincidentes como salida. ^{[ 1 ]}

Es el resultado de una investigación llevada a cabo a mediados de la década de 1980 por Terrence Sejnowski y Charles Rosenberg. El objetivo de NETtalk era construir modelos simplificados que pudieran esclarecer la complejidad del aprendizaje de tareas cognitivas a nivel humano , y su implementación como un modelo conexionista que también pudiera aprender a realizar una tarea comparable. Los autores lo entrenaron mediante retropropagación . ^{[ 1 ]}

La red se entrenó con una gran cantidad de palabras en inglés y sus pronunciaciones correspondientes, y es capaz de generar pronunciaciones para palabras desconocidas con un alto nivel de precisión. La salida de la red era una secuencia de fonemas, que se introducía en DECtalk para producir habla audible. Alcanzó un gran éxito popular, apareciendo en el programa Today . ^{[ 2 ] : 115}

Desde el punto de vista de la modelización de la cognición humana, NETtalk no modela específicamente las etapas de procesamiento de imágenes ni el reconocimiento de letras en la corteza visual . Más bien, asume que las letras han sido preclasificadas y reconocidas. La tarea de NETtalk consiste en aprender las asociaciones adecuadas entre la pronunciación correcta y una secuencia de letras determinada, basándose en el contexto en el que aparecen dichas letras.

Posteriormente se utilizó una arquitectura similar para la tarea opuesta, la de convertir una señal de habla continua en una secuencia de fonemas. ^{[ 3 ]}

El conjunto de datos de entrenamiento fue un subconjunto de 20 008 palabras del Corpus Brown , con fonemas y acentuación anotados manualmente para cada letra. El proceso de desarrollo se describió en una entrevista de 1993. Se necesitaron tres meses (250 horas-persona) para crear el conjunto de datos de entrenamiento, pero solo unos pocos días para entrenar la red. ^{[ 4 ] [ 5 ]}

Tras su exitosa aplicación en este caso, los autores lo probaron con la transcripción fonológica de una entrevista con un joven latino de un barrio de Los Ángeles . El resultado fue una red que reproducía su acento español. ^{[ 2 ] : 115}

El NETtalk original se implementó en un Ridge 32 , que tardaba 0,275 segundos por paso de aprendizaje (una pasada hacia adelante y una hacia atrás). El entrenamiento de NETtalk se convirtió en un referente para probar la eficiencia de los programas de retropropagación. Por ejemplo, una implementación en Connection Machine-1 (con 16384 procesadores) se ejecutó con una aceleración de 52x. Una implementación en un Warp de 10 celdas se ejecutó con una aceleración de 340x. ^{[ 6 ] [ 7 ]}

La siguiente tabla recopila las puntuaciones de referencia a partir de 1988. ^{[ 6 ] [ 7 ] [ 8 ]} La velocidad se mide en "millones de conexiones por segundo" (MCPS). Por ejemplo, el NETtalk original en Ridge 32 tardaba 0,275 segundos por cada pase de ida y vuelta, lo que daba${\displaystyle {\frac {18629/10^{6}}{0,275}}=0,068}$MCPS. Los tiempos relativos se normalizan con respecto al MicroVax.

La red tenía tres capas y 18.629 pesos ajustables, una cantidad considerable para los estándares de 1986. Existía la preocupación de que se sobreajustara al conjunto de datos, pero se entrenó con éxito. ^{[ 2 ]}

La red neuronal tiene una entrada de 203 unidades, divididas en 7 grupos de 29 unidades cada uno. Cada grupo representa una codificación one-hot de un carácter. Existen 29 caracteres posibles: 26 letras, coma, punto y espacio en blanco (límite de palabra). Para producir la pronunciación de un solo carácter, la red utiliza el carácter en sí, así como los 3 caracteres anteriores y los 3 posteriores.

La capa oculta tiene 80 unidades.

La salida consta de 26 unidades. 21 unidades codifican las características articulatorias (punto de articulación, sonoridad, altura vocálica, etc.) de los fonemas, y 5 unidades codifican el acento y los límites silábicos.

Sejnowski estudió la representación aprendida en la red y descubrió que los fonemas que suenan similares se agrupan en el espacio de representación. La salida de la red se degrada, pero sigue siendo comprensible, cuando se eliminan algunas neuronas ocultas. ^{[ 9 ]}

• Conjunto de entrenamiento NETtalk original
• Artículo del New York Times sobre NETtalk