Red neuronal recurrente

Uno de los orígenes de RNN fue la neurociencia. La palabra "recurrente" se usa para describir estructuras en forma de bucle en anatomía . En 1901, Cajal observó "semicírculos recurrentes" en la corteza cerebelosa formados por fibras paralelas , células de Purkinje y células granulares . ^{[ 7 ] [ 8 ]} En 1933, Lorente de Nó descubrió "conexiones recurrentes y recíprocas" mediante el método de Golgi y propuso que los bucles excitatorios explican ciertos aspectos del reflejo vestíbulo-ocular . ^{[ 9 ] [ 10 ]} Durante la década de 1940, varias personas propusieron la existencia de retroalimentación en el cerebro, lo que contrastaba con la comprensión previa del sistema neural como una estructura puramente de alimentación directa. Hebb consideró el "circuito reverberante" como una explicación para la memoria a corto plazo. ^{[ 11 ]} El artículo de McCulloch y Pitts (1943), que propuso el modelo neuronal de McCulloch-Pitts , consideró redes que contienen ciclos. La actividad actual de tales redes puede verse afectada por la actividad indefinidamente lejana en el pasado. ^{[ 12 ]} Ambos estaban interesados ​​en los bucles cerrados como posibles explicaciones para, por ejemplo, la epilepsia y la causalgia . ^{[ 13 ] [ 14 ]} La inhibición recurrente se propuso en 1946 como un mecanismo de retroalimentación negativa en el control motor. Los bucles de retroalimentación neuronal fueron un tema común de discusión en las conferencias de Macy . ^{[ 15 ]} Véase ^{[ 16 ]} para una revisión extensa de los modelos de redes neuronales recurrentes en neurociencia.

En 1960, Frank Rosenblatt publicó "perceptrones de bucle cerrado acoplados cruzadamente", que son redes de perceptrones de tres capas cuya capa intermedia contiene conexiones recurrentes que cambian según una regla de aprendizaje hebbiana . ^{[ 18 ] : 73–75} Posteriormente, en Principios de Neurodinámica (1961), describió redes de perceptrones "acopladas cruzadamente en bucle cerrado" y "acopladas hacia atrás", y realizó estudios teóricos y experimentales sobre el aprendizaje hebbiano en estas redes, ^{[ 17 ] : Capítulo 19, 21} y señaló que una red de perceptrones totalmente acoplada cruzadamente es equivalente a una red de alimentación directa infinitamente profunda. ^{[ 17 ] : Sección 19.11}

Redes similares fueron publicadas por Kaoru Nakano en 1971, ^{[ 19 ] [ 20 ]} Shun'ichi Amari en 1972, ^{[ 21 ]} y William A. Little en 1974, ^{[ 22 ]} a quien Hopfield reconoció en su artículo de 1982.

Otro origen de las RNN fue la mecánica estadística . El modelo de Ising fue desarrollado por Wilhelm Lenz ^{[ 23 ]} y Ernst Ising ^{[ 24 ]} en la década de 1920 ^{[ 25 ]} como un modelo mecánico estadístico simple de imanes en equilibrio. Glauber, en 1963, estudió el modelo de Ising evolucionando en el tiempo, como un proceso hacia el equilibrio ( dinámica de Glauber ), añadiendo el componente temporal. ^{[ 26 ]}

El modelo de vidrio de espín de Sherrington-Kirkpatrick, publicado en 1975, ^{[ 27 ]} es la red de Hopfield con inicialización aleatoria. Sherrington y Kirkpatrick encontraron que es muy probable que la función de energía del modelo SK tenga muchos mínimos locales. En el artículo de 1982, Hopfield aplicó esta teoría recientemente desarrollada para estudiar la red de Hopfield con funciones de activación binarias. ^{[ 28 ]} En un artículo de 1984, la extendió a funciones de activación continuas. ^{[ 29 ]} Se convirtió en un modelo estándar para el estudio de redes neuronales mediante mecánica estadística. ^{[ 30 ] [ 31 ]}

Las redes RNN modernas se basan principalmente en dos arquitecturas: LSTM y BRNN. ^{[ 32 ]}

En el resurgimiento de las redes neuronales en la década de 1980, se volvieron a estudiar las redes recurrentes. A veces se las denominaba "redes iteradas". ^{[ 33 ]} Dos trabajos influyentes iniciales fueron la red de Jordan (1986) y la red de Elman (1990), que aplicaron RNN al estudio de la psicología cognitiva . En 1993, un sistema de compresor de historial neuronal resolvió una tarea de "aprendizaje muy profundo" que requería más de 1000 capas subsiguientes en una RNN desplegada en el tiempo. ^{[ 34 ]}

Las redes de memoria a corto y largo plazo (LSTM) fueron inventadas por Hochreiter y Schmidhuber en 1995 y establecieron récords de precisión en múltiples dominios de aplicación. ^{[ 35 ] [ 36 ]} Se convirtió en la opción predeterminada para la arquitectura RNN.

Las redes neuronales recurrentes bidireccionales (BRNN) utilizan dos RNN que procesan la misma entrada en direcciones opuestas. ^{[ 37 ]} Estas dos se combinan a menudo, dando lugar a la arquitectura LSTM bidireccional.

Alrededor de 2006, las LSTM bidireccionales comenzaron a revolucionar el reconocimiento de voz , superando a los modelos tradicionales en ciertas aplicaciones de voz. ^{[ 38 ] [ 39 ]} También mejoraron el reconocimiento de voz de vocabulario amplio ^{[ 3 ] [ 4 ]} y la síntesis de texto a voz ^{[ 40 ]} y se utilizaron en la búsqueda por voz de Google y el dictado en dispositivos Android . ^{[ 41 ]} Rompieron récords en la mejora de la traducción automática , ^{[ 42 ]} el modelado del lenguaje ^{[ 43 ]} y el procesamiento del lenguaje multilingüe. ^{[ 44 ]} Además, las LSTM combinadas con redes neuronales convolucionales (CNN) mejoraron la generación automática de subtítulos de imágenes . ^{[ 45 ]}

La idea de la transducción de secuencias codificador-decodificador se desarrolló a principios de la década de 2010. Los artículos más citados como los originadores de seq2seq son dos artículos de 2014. ^{[ 46 ] [ 47 ]} Una arquitectura seq2seq emplea dos RNN, típicamente LSTM, un "codificador" y un "decodificador", para la transducción de secuencias, como la traducción automática. Se convirtieron en el estado del arte en traducción automática y fueron fundamentales en el desarrollo de mecanismos de atención y transformadores .

Las RNN vienen en muchas variantes. En abstracto, una RNN es una función${\displaystyle f_{\theta }}$de tipo${\displaystyle (x_{t},h_{t})\mapsto (y_{t},h_{t+1})}$, dónde

• ${\displaystyle x_{t}}$: vector de entrada;
• ${\displaystyle h_{t}}$: vector oculto;
• ${\displaystyle y_{t}}$: vector de salida;
• ${\displaystyle \theta }$: parámetros de la red neuronal.

En otras palabras, es una red neuronal que mapea una entrada${\displaystyle x_{t}}$en una salida${\displaystyle y_{t}}$, con el vector oculto${\displaystyle h_{t}}$Desempeña el papel de "memoria", un registro parcial de todos los pares de entrada-salida anteriores. En cada paso, transforma la entrada en una salida y modifica su "memoria" para optimizar el procesamiento futuro.

La ilustración de la derecha puede resultar engañosa para muchos, ya que las topologías prácticas de las redes neuronales suelen estar organizadas en "capas" y el dibujo da esa impresión. Sin embargo, lo que parecen ser capas son, de hecho, diferentes etapas en el tiempo, "desplegadas" para producir la apariencia de capas .

Una RNN apilada , o RNN profunda , está compuesta por múltiples RNN apiladas una encima de la otra. En abstracto, se estructura de la siguiente manera:

1. La capa 1 tiene un vector oculto${\displaystyle h_{1,t}}$, parámetros${\displaystyle \theta _{1}}$y mapas${\displaystyle f_{\theta _{1}}:(x_{0,t},h_{1,t})\mapsto (x_{1,t},h_{1,t+1})}$.
2. La capa 2 tiene un vector oculto${\displaystyle h_{2,t}}$, parámetros${\displaystyle \theta _{2}}$y mapas${\displaystyle f_{\theta _{2}}:(x_{1,t},h_{2,t})\mapsto (x_{2,t},h_{2,t+1})}$.
3. ...
4. Capa${\displaystyle n}$tiene vector oculto${\displaystyle h_{n,t}}$, parámetros${\displaystyle \theta _{n}}$y mapas${\displaystyle f_{\theta _{n}}:(x_{n-1,t},h_{n,t})\mapsto (x_{n,t},h_{n,t+1})}$.

Cada capa funciona como una RNN independiente, y la secuencia de salida de cada capa se utiliza como secuencia de entrada para la capa superior. No existe un límite conceptual para la profundidad de las RNN apiladas.

Una RNN bidireccional (biRNN) se compone de dos RNN, una que procesa la secuencia de entrada en una dirección y otra en la dirección opuesta. En abstracto, se estructura de la siguiente manera:

• Los procesos RNN hacia adelante se realizan en una dirección:$${\displaystyle f_{\theta }(x_{0},h_{0})=(y_{0},h_{1}),f_{\theta }(x_{1},h_{1})=(y_{1},h_{2}),\dots }$$
• Los procesos RNN hacia atrás en la dirección opuesta:$${\displaystyle f'_{\theta '}(x_{N},h_{N}')=(y'_{N},h_{N-1}'),f'_{\theta '}(x_{N-1},h_{N-1}')=(y'_{N-1},h_{N-2}'),\dots }$$

Las dos secuencias de salida se concatenan para obtener la salida total:${\displaystyle ((y_{0},y_{0}'),(y_{1},y_{1}'),\dots ,(y_{N},y_{N}'))}$.

La RNN bidireccional permite que el modelo procese un token tanto en el contexto de lo que lo precedió como de lo que lo siguió. Al apilar varias RNN bidireccionales, el modelo puede procesar un token de forma cada vez más contextual. El modelo ELMo (2018) ^{[ 48 ]} es una LSTM bidireccional apilada que toma como entrada caracteres y produce incrustaciones a nivel de palabra.

Dos RNN pueden ejecutarse de adelante hacia atrás en una configuración codificador-decodificador . La RNN codificadora procesa una secuencia de entrada en una secuencia de vectores ocultos, y la RNN decodificadora procesa la secuencia de vectores ocultos en una secuencia de salida, con un mecanismo de atención opcional. Esto se utilizó para construir traductores automáticos neuronales de última generación durante el período 2014-2017. Este fue un paso fundamental hacia el desarrollo de los transformadores . ^{[ 49 ]}

Una RNN puede procesar datos con más de una dimensión. PixelRNN procesa datos bidimensionales, con muchas direcciones posibles. ^{[ 50 ]} Por ejemplo, la dirección fila por fila procesa una${\displaystyle n\times n}$cuadrícula de vectores${\displaystyle x_{i,j}}$en el siguiente orden:$${\displaystyle x_{1,1},x_{1,2},\dots ,x_{1,n},x_{2,1},x_{2,2},\dots ,x_{2,n},\dots ,x_{n,n}}$$La BiLSTM diagonal utiliza dos LSTM para procesar la misma cuadrícula. Una la procesa desde la esquina superior izquierda hasta la inferior derecha, de modo que procesa${\displaystyle x_{i,j}}$dependiendo de su estado oculto y el estado de la celda en la parte superior y en el lado izquierdo:${\displaystyle h_{i-1,j},c_{i-1,j}}$y${\displaystyle h_{i,j-1},c_{i,j-1}}$El otro lo procesa desde la esquina superior derecha hasta la inferior izquierda.

Las redes neuronales totalmente recurrentes (FRNN) conectan las salidas de todas las neuronas con las entradas de todas ellas. En otras palabras, se trata de una red totalmente conectada . Esta es la topología de red neuronal más general, ya que todas las demás topologías pueden representarse estableciendo algunos pesos de conexión a cero para simular la ausencia de conexiones entre dichas neuronas.

La red de Hopfield es una RNN en la que todas las conexiones entre capas tienen el mismo tamaño. Requiere entradas estacionarias y, por lo tanto, no es una RNN general, ya que no procesa secuencias de patrones. Sin embargo, garantiza la convergencia. Si las conexiones se entrenan mediante aprendizaje hebbiano , la red de Hopfield puede funcionar como una memoria direccionable por contenido robusta , resistente a la alteración de las conexiones.

Una red de Elman es una red de tres capas (dispuestas horizontalmente como x , y y z en la ilustración) con la adición de un conjunto de unidades de contexto ( u en la ilustración). La capa intermedia (oculta) está conectada a estas unidades de contexto fijas con un peso de uno. ^{[ 51 ]} En cada paso de tiempo, la entrada se propaga hacia adelante y se aplica una regla de aprendizaje . Las retroconexiones fijas guardan una copia de los valores anteriores de las unidades ocultas en las unidades de contexto (ya que se propagan a través de las conexiones antes de que se aplique la regla de aprendizaje). De esta manera, la red puede mantener una especie de estado, lo que le permite realizar tareas como la predicción de secuencias que están más allá de la capacidad de un perceptrón multicapa estándar .

Las redes de Jordan son similares a las redes de Elman. Las unidades de contexto se alimentan desde la capa de salida en lugar de la capa oculta. Las unidades de contexto en una red de Jordan también se denominan capa de estado. Tienen una conexión recurrente consigo mismas. ^{[ 51 ]}

Las redes de Elman y Jordan también se conocen como "redes recurrentes simples" (SRN, por sus siglas en inglés).

Red de Elman ^{[ 52 ]}

${\displaystyle {\begin{aligned}h_{t}&=\sigma _{h}(W_{h}x_{t}+U_{h}h_{t-1}+b_{h})\\y_{t}&=\sigma _{y}(W_{y}h_{t}+b_{y})\end{aligned}}}$

Red de Jordania ^{[ 53 ]}

${\displaystyle {\begin{aligned}h_{t}&=\sigma _{h}(W_{h}x_{t}+U_{h}s_{t}+b_{h})\\y_{t}&=\sigma _{y}(W_{y}h_{t}+b_{y})\\s_{t}&=\sigma _{s}(W_{s,s}s_{t-1}+W_{s,y}y_{t-1}+b_{s})\end{aligned}}}$

Variables y funciones

• ${\displaystyle x_{t}}$: vector de entrada
• ${\displaystyle h_{t}}$: vector de capa oculta
• ${\displaystyle s_{t}}$: vector "estado",
• ${\displaystyle y_{t}}$: vector de salida
• ${\displaystyle W}$,${\displaystyle U}$y${\displaystyle b}$: matrices de parámetros y vector
• ${\displaystyle \sigma }$Funciones de activación

La memoria a corto y largo plazo (LSTM) es la arquitectura RNN más utilizada. Fue diseñada para resolver el problema del gradiente evanescente . LSTM normalmente se aumenta con puertas recurrentes llamadas "puertas de olvido". ^{[ 54 ]} LSTM evita que los errores retropropagados se desvanezcan o exploten. ^{[ 55 ]} En cambio, los errores pueden fluir hacia atrás a través de un número ilimitado de capas virtuales desplegadas en el espacio. Es decir, LSTM puede aprender tareas que requieren memoria de eventos que ocurrieron miles o incluso millones de pasos de tiempo discretos antes. Se pueden desarrollar topologías similares a LSTM específicas para cada problema. ^{[ 56 ]} LSTM funciona incluso con grandes retrasos entre eventos significativos y puede manejar señales que mezclan componentes de baja y alta frecuencia.

Muchas aplicaciones utilizan pilas de LSTM, ^{[ 57 ]} por lo que se denomina "LSTM profunda". A diferencia de los modelos anteriores basados ​​en modelos ocultos de Markov (HMM) y conceptos similares, las LSTM pueden aprender a reconocer lenguajes sensibles al contexto. ^{[ 58 ]}

La unidad recurrente con compuerta (GRU), introducida en 2014, fue diseñada como una simplificación de la LSTM. Se utilizan en su forma completa y en varias variantes simplificadas. ^{[ 59 ] [ 60 ]} Tienen menos parámetros que la LSTM, ya que carecen de una compuerta de salida. ^{[ 61 ]}

Se encontró que su desempeño en el modelado de música polifónica y el modelado de señales de voz era similar al de la memoria a corto y largo plazo. ^{[ 62 ]} No parece haber una diferencia de desempeño particular entre LSTM y GRU. ^{[ 62 ] [ 63 ]}

Las redes de estado de eco (ESN) tienen una capa oculta aleatoria con conexiones dispersas. Los pesos de las neuronas de salida son la única parte de la red que puede cambiar (entrenarse). Las ESN son buenas para reproducir ciertas series temporales . ^{[ 67 ]} Una variante para neuronas de picos se conoce como máquina de estado líquido . ^{[ 68 ]}

Una red neuronal recursiva ^{[ 69 ]} se crea aplicando el mismo conjunto de pesos recursivamente sobre una estructura diferenciable similar a un grafo, recorriendo la estructura en orden topológico . Estas redes también se entrenan típicamente mediante el modo inverso de diferenciación automática . ^{[ 70 ] [ 71 ]} Pueden procesar representaciones distribuidas de la estructura, como términos lógicos . Un caso especial de redes neuronales recursivas es la RNN cuya estructura corresponde a una cadena lineal. Las redes neuronales recursivas se han aplicado al procesamiento del lenguaje natural . ^{[ 72 ]} La red neuronal tensorial recursiva utiliza una función de composición basada en tensores para todos los nodos del árbol. ^{[ 73 ]}

Las máquinas de Turing neuronales (MTN) son un método para extender las redes neuronales recurrentes acoplándolas a recursos de memoria externos con los que interactúan. El sistema combinado es análogo a una máquina de Turing o a una arquitectura de Von Neumann, pero es diferenciable de extremo a extremo, lo que permite entrenarlo eficientemente mediante descenso de gradiente . ^{[ 74 ]}

Las computadoras neuronales diferenciables (DNC) son una extensión de las máquinas de Turing neuronales, que permiten el uso de cantidades difusas de cada dirección de memoria y un registro de cronología. ^{[ 75 ]}

Los autómatas de pila de redes neuronales (NNPDA) son similares a las NTM, pero las cintas se reemplazan por pilas analógicas que son diferenciables y entrenadas. De esta manera, su complejidad es similar a la de los reconocedores de gramáticas libres de contexto (CFG). ^{[ 76 ]}

Las redes neuronales recurrentes son Turing completas y pueden ejecutar programas arbitrarios para procesar secuencias arbitrarias de entradas. ^{[ 77 ]}

Una RNN se puede entrenar para convertirla en un modelo generativo condicional de secuencias, también conocido como autorregresión .

Concretamente, consideremos el problema de la traducción automática, es decir, dada una secuencia${\displaystyle (x_{1},x_{2},\dots ,x_{n})}$de palabras en inglés, el modelo es producir una secuencia${\displaystyle (y_{1},\dots ,y_{m})}$de palabras francesas. Se resolverá mediante un modelo seq2seq .

Ahora, durante el entrenamiento, la mitad del codificador del modelo primero ingeriría${\displaystyle (x_{1},x_{2},\dots ,x_{n})}$, entonces la mitad del decodificador comenzaría a generar una secuencia${\displaystyle ({\hat {y}}_{1},{\hat {y}}_{2},\dots ,{\hat {y}}_{l})}$El problema es que si el modelo comete un error al principio, digamos en${\displaystyle {\hat {y}}_{2}}$, entonces es probable que los tokens subsiguientes también sean errores. Esto hace que sea ineficiente para el modelo obtener una señal de aprendizaje, ya que el modelo aprendería principalmente a cambiar.${\displaystyle {\hat {y}}_{2}}$hacia${\displaystyle y_{2}}$pero no los demás.

La forzadura del profesor hace que el decodificador utilice la secuencia de salida correcta para generar la siguiente entrada en la secuencia. Por ejemplo, vería${\displaystyle (y_{1},\dots ,y_{k})}$para generar${\displaystyle {\hat {y}}_{k+1}}$.

El descenso de gradiente es un algoritmo de optimización iterativo de primer orden para encontrar el mínimo de una función. En redes neuronales, se puede utilizar para minimizar el término de error cambiando cada peso en proporción a la derivada del error con respecto a ese peso, siempre que las funciones de activación no lineales sean diferenciables .

El método estándar para entrenar RNN mediante descenso de gradiente es el algoritmo de " retropropagación a través del tiempo " (BPTT), que es un caso especial del algoritmo general de retropropagación . Una variante en línea computacionalmente más costosa se denomina "aprendizaje recurrente en tiempo real" o RTRL, ^{[ 78 ] [ 79 ]} que es una instancia de diferenciación automática en el modo de acumulación hacia adelante con vectores tangentes apilados. A diferencia de BPTT, este algoritmo es local en el tiempo pero no en el espacio.

En este contexto, local en el espacio significa que el vector de pesos de una unidad se puede actualizar utilizando únicamente la información almacenada en las unidades conectadas y en la propia unidad, de modo que la complejidad de actualización de una sola unidad es lineal con respecto a la dimensionalidad del vector de pesos. Local en el tiempo significa que las actualizaciones se realizan de forma continua (en línea) y dependen únicamente del paso de tiempo más reciente, en lugar de depender de múltiples pasos de tiempo dentro de un horizonte temporal determinado, como en BPTT. Las redes neuronales biológicas parecen ser locales tanto en el tiempo como en el espacio. ^{[ 80 ] [ 81 ]}

Para el cálculo recursivo de las derivadas parciales, RTRL tiene una complejidad temporal de O(número de ocultas x número de pesos) por paso de tiempo para calcular las matrices jacobianas , mientras que BPTT solo toma O(número de pesos) por paso de tiempo, a costa de almacenar todas las activaciones hacia adelante dentro del horizonte de tiempo dado. ^{[ 82 ]} Existe un híbrido en línea entre BPTT y RTRL con complejidad intermedia, ^{[ 83 ] [ 84 ]} junto con variantes para tiempo continuo. ^{[ 85 ]}

Un problema importante del descenso de gradiente para las arquitecturas RNN estándar es que los gradientes de error se desvanecen exponencialmente rápido con el tamaño del retardo de tiempo entre eventos importantes. ^{[ 55 ] [ 86 ]} LSTM combinado con un método de aprendizaje híbrido BPTT/RTRL intenta superar estos problemas. ^{[ 36 ]} Este problema también se resuelve en la red neuronal recurrente independiente (IndRNN) ^{[ 87 ]} al reducir el contexto de una neurona a su propio estado pasado y la información entre neuronas puede explorarse en las capas siguientes. Se pueden aprender memorias de diferentes rangos, incluida la memoria a largo plazo, sin los problemas de desvanecimiento y explosión del gradiente.

El algoritmo en línea denominado retropropagación recursiva causal (CRBP) implementa y combina los paradigmas BPTT y RTRL para redes recurrentes locales. ^{[ 88 ]} Funciona con la mayoría de las redes recurrentes locales. El algoritmo CRBP puede minimizar el término de error global. Este hecho mejora la estabilidad del algoritmo, proporcionando una visión unificada de las técnicas de cálculo de gradiente para redes recurrentes con retroalimentación local.

Un enfoque para el cálculo de información de gradiente en RNN con arquitecturas arbitrarias se basa en la derivación diagramática de grafos de flujo de señales. ^{[ 89 ]} Utiliza el algoritmo por lotes BPTT, basado en el teorema de Lee para cálculos de sensibilidad de red. ^{[ 90 ]} Fue propuesto por Wan y Beaufays, mientras que su versión rápida en línea fue propuesta por Campolucci, Uncini y Piazza. ^{[ 90 ]}

La clasificación temporal conexionista (CTC) ^{[ 91 ]} es una función de pérdida especializada para entrenar RNN para problemas de modelado de secuencias donde el tiempo es variable. ^{[ 92 ]}

El entrenamiento de los pesos en una red neuronal puede modelarse como un problema de optimización global no lineal . Se puede definir una función objetivo para evaluar la aptitud o el error de un vector de pesos específico de la siguiente manera: Primero, se establecen los pesos de la red según el vector de pesos. A continuación, se evalúa la red con respecto a la secuencia de entrenamiento. Normalmente, la suma de las diferencias al cuadrado entre las predicciones y los valores objetivo especificados en la secuencia de entrenamiento se utiliza para representar el error del vector de pesos actual. Posteriormente, se pueden utilizar técnicas de optimización global arbitrarias para minimizar esta función objetivo.

El método de optimización global más común para entrenar RNN son los algoritmos genéticos , especialmente en redes no estructuradas. ^{[ 93 ] [ 94 ] [ 95 ]}

Inicialmente, el algoritmo genético se codifica con los pesos de la red neuronal de una manera predefinida, donde un gen en el cromosoma representa un enlace de peso. Toda la red se representa como un solo cromosoma. La función de aptitud se evalúa de la siguiente manera:

• Cada peso codificado en el cromosoma se asigna al enlace de peso correspondiente de la red.
• El conjunto de entrenamiento se presenta a la red, que propaga las señales de entrada hacia adelante.
• El error cuadrático medio se devuelve a la función de aptitud.
• Esta función impulsa el proceso de selección genética.

La población está compuesta por muchos cromosomas; por lo tanto, se desarrollan muchas redes neuronales diferentes hasta que se cumple un criterio de parada. Un esquema de parada común puede ser:

• Cuando la red neuronal ha aprendido un cierto porcentaje de los datos de entrenamiento.
• Cuando se cumple el valor mínimo del error cuadrático medio.
• Cuando se haya alcanzado el número máximo de generaciones de entrenamiento.

La función de aptitud evalúa el criterio de parada al recibir el recíproco del error cuadrático medio de cada red durante el entrenamiento. Por lo tanto, el objetivo del algoritmo genético es maximizar la función de aptitud, reduciendo el error cuadrático medio.

Se pueden utilizar otras técnicas de optimización global (y/o evolutiva) para buscar un buen conjunto de ponderaciones, como el recocido simulado o la optimización por enjambre de partículas .

La red neuronal recurrente independiente (IndRNN) ^{[ 87 ]} aborda los problemas de desaparición y explosión del gradiente en la RNN totalmente conectada tradicional. Cada neurona en una capa solo recibe su propio estado pasado como información de contexto (en lugar de conectividad completa con todas las demás neuronas en esta capa) y por lo tanto las neuronas son independientes del historial de las demás. La retropropagación del gradiente se puede regular para evitar la desaparición y explosión del gradiente con el fin de mantener la memoria a largo o corto plazo. La información entre neuronas se explora en las siguientes capas. IndRNN se puede entrenar de forma robusta con funciones no lineales no saturadas como ReLU . Las redes profundas se pueden entrenar utilizando conexiones de salto .

El compresor de historial neuronal es una pila no supervisada de RNN. ^{[ 96 ]} A nivel de entrada, aprende a predecir su siguiente entrada a partir de las entradas anteriores. Solo las entradas impredecibles de alguna RNN en la jerarquía se convierten en entradas para la RNN de nivel superior, que, por lo tanto, recalcula su estado interno solo en raras ocasiones. Cada RNN de nivel superior estudia así una representación comprimida de la información de la RNN inferior. Esto se hace de tal manera que la secuencia de entrada se puede reconstruir con precisión a partir de la representación del nivel más alto.

El sistema minimiza eficazmente la longitud de la descripción o el logaritmo negativo de la probabilidad de los datos. ^{[ 97 ]} Dada una gran predictibilidad aprendible en la secuencia de datos entrantes, la RNN de nivel más alto puede utilizar el aprendizaje supervisado para clasificar fácilmente incluso secuencias profundas con largos intervalos entre eventos importantes.

Es posible destilar la jerarquía de la RNN en dos RNN: el segmentador "consciente" (nivel superior) y el autómata "subconsciente" (nivel inferior). ^{[ 96 ]} Una vez que el segmentador ha aprendido a predecir y comprimir entradas que son impredecibles para el autómata, este último puede verse obligado, en la siguiente fase de aprendizaje, a predecir o imitar, mediante unidades adicionales, las unidades ocultas del segmentador, que cambia más lentamente. Esto facilita que el autómata aprenda recuerdos apropiados y que cambian con poca frecuencia a lo largo de intervalos prolongados. A su vez, esto ayuda al autómata a hacer predecibles muchas de sus entradas que antes eran impredecibles, de modo que el segmentador pueda centrarse en los eventos impredecibles restantes. ^{[ 96 ]}

En 1992, un modelo generativo superó parcialmente el problema del gradiente evanescente ^{[ 55 ]} de la diferenciación automática o retropropagación en redes neuronales. En 1993, dicho sistema resolvió una tarea de "aprendizaje muy profundo" que requería más de 1000 capas subsiguientes en una RNN desplegada en el tiempo. ^{[ 34 ]}

Las RNN de segundo orden utilizan pesos de orden superior.${\displaystyle w{}_{ijk}}$en lugar del estándar${\displaystyle w{}_{ij}}$Los pesos y los estados pueden ser un producto. Esto permite un mapeo directo a una máquina de estados finitos tanto en el entrenamiento como en la representación. ^{[ 98 ] [ 99 ]} La memoria a corto y largo plazo es un ejemplo de esto, pero no tiene tales mapeos formales ni prueba de estabilidad.

Las redes neuronales recurrentes jerárquicas (HRNN) conectan sus neuronas de diversas maneras para descomponer el comportamiento jerárquico en subprogramas útiles. ^{[ 96 ] [ 100 ]} Estas estructuras jerárquicas de la cognición están presentes en las teorías de la memoria presentadas por el filósofo Henri Bergson , cuyas ideas filosóficas han inspirado modelos jerárquicos. ^{[ 101 ]}

Las redes neuronales recurrentes jerárquicas son útiles para la previsión , ya que ayudan a predecir los componentes desagregados de la inflación del índice de precios al consumidor (IPC). El modelo HRNN aprovecha la información de los niveles superiores de la jerarquía del IPC para mejorar las predicciones de los niveles inferiores. La evaluación de un conjunto de datos sustancial del índice IPC-U de EE. UU. demuestra el rendimiento superior del modelo HRNN en comparación con varios métodos establecidos de predicción de la inflación . ^{[ 102 ]}

Generalmente, una red perceptrón multicapa recurrente (RMLPN) consta de subredes en cascada, cada una con múltiples capas de nodos. Cada subred es de alimentación directa, excepto la última capa, que puede tener conexiones de retroalimentación. Cada una de estas subredes está conectada únicamente mediante conexiones de alimentación directa. ^{[ 103 ]}

Una red neuronal recurrente de múltiples escalas temporales (MTRNN) es un modelo computacional basado en redes neuronales que puede simular la jerarquía funcional del cerebro mediante la autoorganización, dependiendo de la conexión espacial entre neuronas y de distintos tipos de actividades neuronales, cada una con propiedades temporales distintas. ^{[ 104 ] [ 105 ]} Con actividades neuronales tan variadas, las secuencias continuas de cualquier conjunto de comportamientos se segmentan en primitivas reutilizables, que a su vez se integran de forma flexible en diversos comportamientos secuenciales. La validación biológica de este tipo de jerarquía fue analizada en la teoría de la predicción de la memoria de la función cerebral por Hawkins en su libro Sobre la inteligencia . Dicha jerarquía también concuerda con las teorías de la memoria propuestas por el filósofo Henri Bergson , que se han incorporado a un modelo MTRNN. ^{[ 101 ] [ 106 ]}

Greg Snider de HP Labs describe un sistema de computación cortical con nanodispositivos memristivos. ^{[ 107 ]} Los memristores (resistencias de memoria) se implementan mediante materiales de película delgada en los que la resistencia se ajusta eléctricamente a través del transporte de iones o vacantes de oxígeno dentro de la película. El proyecto SyNAPSE de DARPA ha financiado a IBM Research y HP Labs, en colaboración con el Departamento de Sistemas Cognitivos y Neuronales (CNS) de la Universidad de Boston, para desarrollar arquitecturas neuromórficas que pueden basarse en sistemas memristivos. Las redes memristivas son un tipo particular de red neuronal física que tiene propiedades muy similares a las redes (Little)Hopfield, ya que tienen dinámica continua, una capacidad de memoria limitada y relajación natural a través de la minimización de una función que es asintótica al modelo de Ising . En este sentido, la dinámica de un circuito memristivo tiene la ventaja, en comparación con una red de resistencia-capacitancia, de tener un comportamiento no lineal más interesante. Desde este punto de vista, la ingeniería de redes memristivas analógicas da cuenta de un tipo peculiar de ingeniería neuromórfica en la que el comportamiento del dispositivo depende del cableado o la topología del circuito. La evolución de estas redes puede estudiarse analíticamente utilizando variaciones de la ecuación de Caravelli-Traversa-Di Ventra . ^{[ 108 ]}

Una red neuronal recurrente de tiempo continuo (CTRNN) utiliza un sistema de ecuaciones diferenciales ordinarias para modelar los efectos de las entradas en una neurona. Suelen analizarse mediante la teoría de sistemas dinámicos . Muchos modelos RNN en neurociencia son de tiempo continuo. ^{[ 16 ]}

Para una neurona${\displaystyle i}$en la red con activación${\displaystyle y_{i}}$La tasa de cambio de activación viene dada por:

${\displaystyle \tau _{i}{\dot {y}}_{i}=-y_{i}+\sum _{j=1}^{n}w_{ji}\sigma (y_{j}-\Theta _{j})+I_{i}(t)}$

Dónde:

• ${\displaystyle \tau _{i}}$ : Constante de tiempo del nodo postsináptico
• ${\displaystyle y_{i}}$ : Activación del nodo postsináptico
• ${\displaystyle {\dot {y}}_{i}}$ : Tasa de cambio de activación del nodo postsináptico
• ${\displaystyle w{}_{ji}}$ : Peso de la conexión desde el nodo presináptico al postsináptico
• ${\displaystyle \sigma (x)}$ : Sigmoide de x, por ejemplo${\displaystyle \sigma (x)=1/(1+e^{-x})}$.
• ${\displaystyle y_{j}}$ : Activación del nodo presináptico
• ${\displaystyle \Theta _{j}}$ : Sesgo del nodo presináptico
• ${\displaystyle I_{i}(t)}$ : Entrada (si la hay) al nodo

Las CTRNN se han aplicado a la robótica evolutiva, donde se han utilizado para abordar la visión, ^{[ 109 ]} la cooperación, ^{[ 110 ]} y el comportamiento cognitivo mínimo. ^{[ 111 ]}

Nótese que, según el teorema de muestreo de Shannon , las redes neuronales recurrentes de tiempo discreto pueden considerarse como redes neuronales recurrentes de tiempo continuo donde las ecuaciones diferenciales se han transformado en ecuaciones de diferencias equivalentes . ^{[ 112 ]} Esta transformación puede pensarse como ocurriendo después de las funciones de activación del nodo postsináptico.${\displaystyle y_{i}(t)}$Se han aplicado filtros de paso bajo, pero antes del muestreo.

En realidad, se trata de redes neuronales recursivas con una estructura particular: la de una cadena lineal. Mientras que las redes neuronales recursivas operan sobre cualquier estructura jerárquica, combinando representaciones hijas para formar representaciones padres, las redes neuronales recurrentes operan sobre la progresión lineal del tiempo, combinando el paso de tiempo anterior y una representación oculta para formar la representación del paso de tiempo actual.

Desde una perspectiva de series temporales, las RNN pueden aparecer como versiones no lineales de filtros de respuesta de impulso finito e infinito y también como un modelo exógeno autorregresivo no lineal (NARX). ^{[ 113 ]} La RNN tiene una respuesta de impulso infinito mientras que la red neuronal convolucional tiene una respuesta de impulso finito . Ambas clases de redes exhiben un comportamiento dinámico temporal . ^{[ 114 ]} Una red recurrente de impulso finito es un grafo dirigido acíclico que puede desplegarse y reemplazarse con una red neuronal estrictamente de alimentación directa, mientras que una red recurrente de impulso infinito es un grafo dirigido cíclico que no puede desplegarse.

El efecto del aprendizaje basado en la memoria para el reconocimiento de secuencias también puede implementarse mediante un modelo más biológico que utiliza el mecanismo de silenciamiento exhibido en neuronas con una actividad de disparo de frecuencia relativamente alta . ^{[ 115 ]}

Se pueden añadir estados almacenados adicionales y almacenamiento bajo control directo de la red tanto a redes de impulsos infinitos como de impulsos finitos . Otra red o grafo también puede reemplazar el almacenamiento si incorpora retardos temporales o bucles de retroalimentación. Estos estados controlados se denominan estados controlados o memoria controlada y forman parte de las redes de memoria a corto y largo plazo (LSTM) y las unidades recurrentes controladas . Esto también se conoce como red neuronal de retroalimentación (FNN).