Seq2seq

Uno de los artículos citados como originario de seq2seq es (Sutskever et al 2014), ^{[ 1 ]} publicado en Google Brain mientras estaban en el proyecto de traducción automática de Google. La investigación permitió a Google renovar Google Translate en Google Neural Machine Translation en 2016. ^{[ 1 ] [ 9 ]} Tomáš Mikolov afirma haber desarrollado la idea (antes de unirse a Google Brain ) de usar un "modelo de lenguaje neuronal en pares de oraciones... y luego [generar] traducción después de ver la primera oración"—lo que él equipara con la traducción automática seq2seq, y haber mencionado la idea a Ilya Sutskever y Quoc Le (mientras estaba en Google Brain), quienes no lo reconocieron en su artículo. ^{[ 10 ]} Mikolov había trabajado en RNNLM (usando RNN para modelado de lenguaje) para su tesis doctoral, ^{[ 11 ]} y es más conocido por desarrollar word2vec .

El codificador se encarga de procesar la secuencia de entrada y capturar su información esencial, que se almacena como el estado oculto de la red y, en un modelo con mecanismo de atención, como un vector de contexto. El vector de contexto es la suma ponderada de los estados ocultos de entrada y se genera para cada instante de tiempo en las secuencias de salida.

El decodificador toma el vector de contexto y los estados ocultos del codificador y genera la secuencia de salida final. El decodificador opera de forma autorregresiva, produciendo un elemento de la secuencia de salida a la vez. En cada paso, considera los elementos generados previamente, el vector de contexto y la información de la secuencia de entrada para realizar predicciones sobre el siguiente elemento de la secuencia de salida. Específicamente, en un modelo con mecanismo de atención, el vector de contexto y el estado oculto se concatenan para formar un vector oculto de atención, que se utiliza como entrada para el decodificador.

El método seq2seq, desarrollado a principios de la década de 2010, utiliza dos redes neuronales: una red codificadora que convierte una oración de entrada en vectores numéricos, y una red decodificadora que convierte esos vectores en oraciones en el idioma de destino. El mecanismo de atención se incorporó a esta estructura en 2014 y se muestra a continuación. Posteriormente, se perfeccionó hasta convertirse en la arquitectura Transformer codificador-decodificador de 2017.

Existe una sutil diferencia entre entrenamiento y predicción. Durante el entrenamiento, se conocen tanto la secuencia de entrada como la de salida. Durante la predicción, solo se conoce la secuencia de entrada, y la red neuronal debe decodificar la secuencia de salida.

En concreto, consideremos una secuencia de entrada.${\displaystyle x_{1:n}}$y secuencia de salida${\displaystyle y_{1:m}}$El codificador procesaría la entrada.${\displaystyle x_{1:n}}$paso a paso. Después de eso, el decodificador tomaría la salida del codificador, así como el <bos> como entrada, y produciría una predicción.${\displaystyle {\hat {y}}_{1}}$Ahora bien, la pregunta es: ¿qué se debe introducir en el decodificador en el siguiente paso?

Un método estándar para el entrenamiento es el "forzado del profesor". En el forzado del profesor, sin importar lo que emita el decodificador, la siguiente entrada al decodificador siempre es la referencia. Es decir, incluso si${\displaystyle {\sombrero {y}}_{1}\neq y_{1}}$, la siguiente entrada al decodificador sigue siendo${\displaystyle y_{1}}$, etcétera.

Durante el tiempo de predicción, el "maestro"${\displaystyle y_{1:m}}$no estaría disponible. Por lo tanto, la entrada al decodificador debe ser${\displaystyle {\hat {y}}_{1}}$, entonces${\displaystyle {\hat {y}}_{2}}$, etcétera.

Se ha descubierto que si un modelo se entrena únicamente mediante la imposición del modelo maestro, su rendimiento se degrada durante el tiempo de predicción, ya que la generación basada en la salida del propio modelo es diferente de la generación basada en la salida del maestro. Esto se denomina sesgo de exposición o cambio en la distribución de entrenamiento/prueba . Un artículo de 2015 recomienda que, durante el entrenamiento, se alterne aleatoriamente entre la imposición del modelo maestro y la ausencia de imposición del modelo maestro. ^{[ 13 ]}

El mecanismo de atención es una mejora introducida por Bahdanau et al. en 2014 para abordar las limitaciones de la arquitectura básica Seq2Seq, donde una secuencia de entrada más larga provoca que la salida del estado oculto del codificador sea irrelevante para el decodificador. Permite que el modelo se centre selectivamente en diferentes partes de la secuencia de entrada durante el proceso de decodificación. En cada paso del decodificador, un modelo de alineación calcula la puntuación de atención utilizando el estado actual del decodificador y todos los vectores ocultos de atención como entrada. Un modelo de alineación es otro modelo de red neuronal que se entrena conjuntamente con el modelo Seq2Seq y se utiliza para calcular qué tan bien coincide una entrada, representada por el estado oculto, con la salida anterior, representada por el estado oculto de atención. Luego se aplica una función softmax a la puntuación de atención para obtener el peso de atención.

En algunos modelos, los estados del codificador se introducen directamente en una función de activación , eliminando la necesidad de un modelo de alineación. Una función de activación recibe un estado del decodificador y un estado del codificador, y devuelve un valor escalar que indica su relevancia.

Consideremos la tarea de traducción del inglés al francés en el lenguaje seq2seq. Concretamente, analicemos la traducción de "the zone of international control <end>", que debería traducirse como "la zone de contrôle international <end>". Aquí, utilizamos el token especial <end> como carácter de control para delimitar el final de la entrada tanto para el codificador como para el decodificador.

Una secuencia de entrada de texto${\displaystyle x_{0},x_{1},\dots }$es procesado por una red neuronal (que puede ser una LSTM, un codificador Transformer u otra red) en una secuencia de vectores de valor real.${\displaystyle h_{0},h_{1},\dots }$, dónde${\displaystyle h}$significa "vector oculto".

Una vez que el codificador ha terminado de procesar, el decodificador comienza a operar sobre los vectores ocultos para producir una secuencia de salida.${\ Displaystyle y_ {0}, y_ {1}, \ puntos}$, de forma autorregresiva. Es decir, siempre toma como entrada tanto los vectores ocultos producidos por el codificador como lo que el propio decodificador ha producido anteriormente, para producir la siguiente palabra de salida:

1. (${\displaystyle h_{0},h_{1},\dots }$, "<start>") → "la"
2. (${\displaystyle h_{0},h_{1},\dots }$, "<start> la") → "la zona"
3. (${\displaystyle h_{0},h_{1},\dots }$, "<inicio> la zona") → "la zona de"
4. ...
5. (${\displaystyle h_{0},h_{1},\dots }$, "<inicio> la zona de control internacional") → "la zona de control internacional <fin>"

Aquí, usamos el token especial <start> como carácter de control para delimitar el inicio de la entrada para el decodificador. La decodificación finaliza tan pronto como aparece "<end>" en la salida del decodificador.

Dado que la creación manual de pesos contradice el propósito del aprendizaje automático, el modelo debe calcular los pesos de atención por sí mismo. Tomando como analogía el lenguaje de las consultas de bases de datos , hacemos que el modelo construya una tripleta de vectores: clave, consulta y valor. La idea general es que tenemos una "base de datos" en forma de una lista de pares clave-valor. El decodificador envía una consulta y obtiene una respuesta en forma de una suma ponderada de los valores , donde el peso es proporcional a qué tan similar es la consulta a cada clave .

El decodificador primero procesa parcialmente la entrada "<start>" para obtener un vector intermedio.${\displaystyle h_{0}^{d}}$, el vector oculto 0 del decodificador. Luego, el vector intermedio se transforma mediante un mapeo lineal.${\displaystyle W^{Q}}$en un vector de consulta${\displaystyle q_{0}=h_{0}^{d}W^{Q}}$Mientras tanto, los vectores ocultos generados por el codificador se transforman mediante otro mapeo lineal.${\displaystyle W^{K}}$en vectores clave${\displaystyle k_{0}=h_{0}W^{K},k_{1}=h_{1}W^{K},\dots }$Los mapas lineales son útiles para proporcionar al modelo suficiente libertad para encontrar la mejor manera de representar los datos.

Ahora, la consulta y las claves se comparan calculando el producto escalar:${\displaystyle q_{0}k_{0}^{T},q_{0}k_{1}^{T},\dots }$Idealmente, el modelo debería haber aprendido a calcular las claves y los valores, de tal manera que${\displaystyle q_{0}k_{0}^{T}}$es grande,${\displaystyle q_{0}k_{1}^{T}}$es pequeño, y el resto son muy pequeños. Esto puede interpretarse como que el peso de atención debe aplicarse principalmente al vector oculto 0 del codificador, un poco al 1 y prácticamente nada al resto.

Para realizar una suma ponderada correctamente, necesitamos transformar esta lista de productos escalares en una distribución de probabilidad sobre${\displaystyle 0,1,\dots }$Esto se puede lograr mediante la función softmax , lo que nos da los pesos de atención:$${\displaystyle (w_{00},w_{01},\dots )=\mathrm {softmax} (q_{0}k_{0}^{T},q_{0}k_{1}^{T},\dots )}$$Esto se utiliza a continuación para calcular el vector de contexto :$${\displaystyle c_{0}=w_{00}v_{0}+w_{01}v_{1}+\cdots }$$

dónde${\displaystyle v_{0}=h_{0}W^{V},v_{1}=h_{1}W^{V},\dots }$son los vectores de valor , transformados linealmente por otra matriz para proporcionar al modelo la libertad de encontrar la mejor manera de representar los valores. Sin las matrices${\displaystyle W^{Q},W^{K},W^{V}}$El modelo se vería obligado a utilizar el mismo vector oculto tanto para la clave como para el valor, lo cual podría no ser apropiado, ya que estas dos tareas no son lo mismo.

Este es el mecanismo de atención de puntos. La versión particular descrita en esta sección es la "atención cruzada del decodificador", ya que el vector de contexto de salida es utilizado por el decodificador, y las claves y valores de entrada provienen del codificador, pero la consulta proviene del decodificador, de ahí el término "atención cruzada".

De forma más concisa, podemos escribirlo como$${\displaystyle c_{0}=\mathrm {Atención} (h_{0}^{d}W^{Q},HW^{K},HW^{V})=\mathrm {softmax} ((h_{0}^{d}W^{Q})\;(HW^{K})^{T})(HW^{V})}$$donde la matriz${\displaystyle H}$es la matriz cuyas filas son${\displaystyle h_{0},h_{1},\dots }$. Tenga en cuenta que el vector de consulta,${\displaystyle h_{0}^{d}}$no es necesariamente lo mismo que el vector clave-valor${\displaystyle h_{0}}$De hecho, teóricamente es posible que los vectores de consulta, clave y valor sean todos diferentes, aunque rara vez se hace en la práctica.