Máquina de Turing neuronal

Una máquina de Turing neuronal ( NTM ) es un modelo de red neuronal recurrente de una máquina de Turing . El enfoque fue publicado por Alex Graves et al. en 2014. ^{[ 1 ]} Las NTM combinan las capacidades de coincidencia de patrones difusos de las redes neuronales con la potencia algorítmica de las computadoras programables .

Una NTM tiene un controlador de red neuronal acoplado a recursos de memoria externos , con los que interactúa a través de mecanismos de atención. Las interacciones de memoria son diferenciables de extremo a extremo, lo que permite optimizarlas mediante descenso de gradiente . ^{[ 2 ]} Una NTM con un controlador de red de memoria a corto y largo plazo (LSTM) puede inferir algoritmos simples como copiar, ordenar y recuperar asociativamente a partir de ejemplos únicamente. ^{[ 1 ]}

Los autores del artículo original de NTM no publicaron su código fuente . ^{[ 1 ]} La primera implementación estable de código abierto se publicó en 2018 en la 27.ª Conferencia Internacional sobre Redes Neuronales Artificiales, recibiendo un premio al mejor artículo. ^{[ 3 ] [ 4 ] [ 5 ]} Existen otras implementaciones de código abierto de NTM, pero a partir de 2018 no son suficientemente estables para su uso en producción. ^{[ 6 ] [ 7 ] [ 8 ] [ 9 ] [ 10 ] [ 11 ] [ 12 ]} Los desarrolladores informan que los gradientes de su implementación a veces se convierten en NaN durante el entrenamiento por razones desconocidas y hacen que el entrenamiento falle; ^{[ 10 ] [ 11 ] [ 9 ]} informan de una convergencia lenta; ^{[ 7 ] [ 6 ]} o no informan de la velocidad de aprendizaje de su implementación. ^{[ 12 ] [ 8 ]}

Las computadoras neuronales diferenciables son una evolución de las máquinas de Turing neuronales, con mecanismos de atención que controlan dónde está activa la memoria y mejoran el rendimiento. ^{[ 13 ]}