Modelos de alineación de IBM

Los modelos de alineación de IBM son una secuencia de modelos cada vez más complejos que se utilizan en la traducción automática estadística para entrenar un modelo de traducción y un modelo de alineación, comenzando con probabilidades de traducción léxica y avanzando hacia la reordenación y la duplicación de palabras. ^{[ 1 ] [ 2 ]} Estos modelos sustentaron la mayoría de los sistemas de traducción automática estadística durante casi veinte años, desde principios de la década de 1990, hasta que la traducción automática neuronal comenzó a dominar. Estos modelos ofrecen una formulación probabilística basada en principios y una inferencia (en su mayoría) manejable. ^{[ 3 ]}

Los modelos de alineación de IBM se publicaron por partes en 1988 ^{[ 4 ]} y 1990, ^{[ 5 ]} y la serie completa se publicó en 1993. ^{[ 1 ]} Todos los autores del artículo de 1993 posteriormente se unieron al fondo de cobertura Renaissance Technologies . ^{[ 6 ]}

El trabajo original sobre traducción automática estadística en IBM propuso cinco modelos, y posteriormente se propuso un sexto modelo. La secuencia de los seis modelos se puede resumir de la siguiente manera:

• Modelo 1: traducción léxica
• Modelo 2: modelo de alineación absoluta adicional
• Modelo 3: modelo de fertilidad adicional
• Modelo 4: se agregó el modelo de alineación relativa
• Modelo 5: problema de deficiencia fija.
• Modelo 6: Modelo 4 combinado con un modelo de alineación HMM de forma logarítmica lineal.

El modelo de alineación de IBM traduce la traducción como un modelo de probabilidad condicional . Para cada oración en idioma de origen ("extranjero")${\displaystyle f}$, generamos una oración en el idioma de destino ("inglés")${\displaystyle e}$y una alineación${\displaystyle a}$. El problema entonces es encontrar un buen modelo estadístico para${\displaystyle p(e,a|f)}$, la probabilidad de que generemos una oración en idioma inglés${\displaystyle e}$y una alineación${\displaystyle a}$dada una sentencia extranjera${\displaystyle f}$.

El significado de una alineación se vuelve cada vez más complejo a medida que aumenta el número de versión del modelo. Consulte el Modelo 1 para obtener la versión más sencilla y comprensible.

El modelo 2 permite que la alineación sea condicional a la longitud de las oraciones. Es decir, tenemos una distribución de probabilidad.${\displaystyle p_{a}(j|i,l_{e},l_{f})}$, que significa "la probabilidad de que la palabra inglesa${\displaystyle i}$está alineado con palabra extranjera${\displaystyle j}$, cuando la oración en inglés es de longitud${\displaystyle l_{e}}$y la frase extranjera es de longitud${\displaystyle l_{f}}$".

El resto del Modelo 1 no ha cambiado. Con eso, tenemos$${\displaystyle p(e,a|f)={1/N}\prod _{i=1}^{l_{e}}t(e_{i}|f_{a(i)})p_{a}(a(i)|i,l_{e},l_{f})}$$El algoritmo EM aún puede resolverse de forma cerrada, obteniéndose el siguiente algoritmo:$${\displaystyle t(e_{x}|f_{y})\leftarrow {\frac {1}{\lambda _{y}}}\sum _{k,i,j}{\frac {t(e_{i}^{(k)}|f_{j}^{(k)})p_{a}(j|i,l_{e},l_{f})\delta (e_{x},e_{i}^{(k)})\delta (f_{y},f_{j}^{(k)})}{\sum _{j'}t(e_{i}^{(k)}|f_{j'}^{(k)})p_{a}(j'|i,l_{e},l_{f})}}}$$$${\displaystyle p_{a}(j|i,l_{e},l_{f})\leftarrow {\frac {1}{\lambda _{i,l_{e},l_{f}}}}\sum _{k}{\frac {t(e_{i}^{(k)}|f_{j}^{(k)})p_{a}(j|i,l_{e},l_{f})\delta (e_{x},e_{i}^{(k)})\delta (f_{y},f_{j}^{(k)})\delta (l_{e},l_{e}^{(k)})\delta (l_{f},l_{f}^{(k)})}{\sum _{j'}t(e_{i}^{(k)}|f_{j'}^{(k)})p_{a}(j'|i,l_{e},l_{f})}}}$$dónde${\displaystyle \lambda }$siguen siendo factores de normalización. Consulte la sección 4.4.1 ^{[ 7 ]} para una derivación y un algoritmo.

El problema de la fertilidad se aborda en el Modelo 3 de IBM. La fertilidad se modela utilizando una distribución de probabilidad definida como:

${\displaystyle n(\phi \lor f)}$

Por cada palabra extranjera${\displaystyle j}$, dicha distribución indica a cuántas palabras de salida${\displaystyle \phi }$Por lo general, se traduce. Este modelo se encarga de descartar palabras de entrada porque permite${\displaystyle \phi =0}$. Pero aún existe un problema al agregar palabras. Por ejemplo, la palabra inglesa " do" se inserta con frecuencia al negar. Este problema genera un token NULL especial cuya fertilidad también puede modelarse mediante una distribución condicional definida como:

${\displaystyle n(\varnothing \lor NULL)}$

El número de palabras insertadas depende de la longitud de la oración. Por eso, la inserción del token NULL se modela como un paso adicional: el paso de fertilidad. Esto aumenta el proceso de traducción del Modelo 3 de IBM a cuatro pasos:

El último paso se llama distorsión en lugar de alineación porque es posible producir la misma traducción con la misma alineación de diferentes maneras. Por ejemplo, en el ejemplo anterior, tenemos otra forma de obtener la misma alineación: ^{[ 9 ]}

• ja NULL nie pôjde tak do do domu
• No voy a la casa
• No voy a la casa

El modelo IBM 3 se puede expresar matemáticamente como:

${\displaystyle P(S\mid E,A)=\prod _{i=1}^{I}\Phi _{i}!n(\Phi \mid e_{j})*\prod _{j=1}^{J}t(f_{j}\mid e_{a_{j}})*\prod _{j:a(j)\neq 0}^{J}d(j|a_{j},I,J){\binom {J-\Phi _{0}}{\Phi _{0}}}p_{0}^{\Phi _{0}}p_{1}^{J}}$

dónde${\displaystyle \Phi _{i}}$representa la fertilidad de${\displaystyle e_{i}}$, cada palabra fuente${\displaystyle s}$Se le asigna una distribución de fertilidad.${\displaystyle n}$, y${\displaystyle I}$y${\displaystyle J}$se refieren a las longitudes absolutas de las oraciones de destino y de origen, respectivamente. ^{[ 10 ]}

Consulte la sección 4.4.2 ^{[ 7 ]} para una derivación y un algoritmo.

En el Modelo 4 de IBM, cada palabra depende de la palabra previamente alineada y de las clases de palabras de las palabras circundantes. Algunas palabras tienden a reordenarse durante la traducción más que otras (por ejemplo, la inversión adjetivo-sustantivo al traducir del polaco al inglés). Los adjetivos a menudo se mueven antes del sustantivo que los precede. Las clases de palabras introducidas en el Modelo 4 resuelven este problema condicionando las distribuciones de probabilidad de estas clases. El resultado de dicha distribución es un modelo lexicalizado. Dicha distribución se puede definir de la siguiente manera:

Para la palabra inicial en el concepto:${\displaystyle d_{1}(j-\odot _{[i-1]}\lor A(f_{[i-1]}),B(e_{j}))}$

Para palabras adicionales:${\displaystyle d_{1}(j-\pi _{i,k-1}\lor B(e_{j}))}$

dónde${\displaystyle A(f)}$y${\displaystyle B(e)}$Las funciones asignan palabras a sus clases de palabras y${\displaystyle e_{j}}$y${\displaystyle f_{[i-1]}}$son distribuciones de probabilidad de distorsión de las palabras. El cept se forma alineando cada palabra de entrada.${\displaystyle f_{i}}$a al menos una palabra de salida. ^{[ 11 ]}

Tanto el Modelo 3 como el Modelo 4 ignoran si se eligió una posición de entrada y si la masa de probabilidad se reservó para las posiciones de entrada fuera de los límites de la oración. Esta es la razón por la que las probabilidades de todas las alineaciones correctas no suman la unidad en estos dos modelos (modelos deficientes). ^{[ 11 ]}

El modelo IBM 5 reformula el modelo IBM 4 mejorando el modelo de alineación con más parámetros de entrenamiento para superar la deficiencia del modelo. ^{[ 12 ]} Durante la traducción en los modelos 3 y 4 no hay heurísticas que prohíban la colocación de una palabra de salida en una posición ya ocupada. En el modelo 5 es importante colocar las palabras solo en posiciones libres. Esto se logra rastreando el número de posiciones libres y permitiendo la colocación solo en dichas posiciones. El modelo de distorsión es similar al modelo IBM 4, pero se basa en posiciones libres. Si${\displaystyle v_{j}}$denota el número de posiciones libres en la salida, las probabilidades de distorsión del modelo IBM 5 se definirían como: ^{[ 1 ]}

Para la palabra inicial en el concepto: ${\displaystyle d_{1}(v_{j}\lor B(e_{j}),v_{\odot i-1},v_{max})}$

Para palabras adicionales: ${\displaystyle d_{1}(v_{j}-v_{\pi _{i,k-1}}\lor B(e_{j}),v_{max'})}$

Los modelos de alineación que utilizan dependencias de primer orden, como HMM o los modelos 4 y 5 de IBM, producen mejores resultados que otros métodos de alineación. La idea principal de HMM es predecir la distancia entre posiciones consecutivas del idioma de origen. Por otro lado, el modelo 4 de IBM intenta predecir la distancia entre posiciones consecutivas del idioma de destino. Dado que se esperaba lograr una mejor calidad de alineación al utilizar ambos tipos de dependencias, HMM y el modelo 4 se combinaron de forma logarítmica lineal en el modelo 6 de la siguiente manera: ^{[ 13 ]}

${\displaystyle p_{6}(f,a\lor e)={\frac {p_{4}(f,a\lor e)^{\alpha }*p_{HMM}(f,a\lor e)}{\sum _{a',f'}p_{4}(f',a'\lor e)^{\alpha }*p_{HMM}(f',a'\lor e)}}}$

donde el parámetro de interpolación${\displaystyle \alpha }$se utiliza para contar el peso del Modelo 4 en relación con el modelo oculto de Markov . Una combinación log-lineal de varios modelos se puede definir como${\displaystyle p_{k}(f,a\mid e)}$con${\displaystyle k=1,2,\dotsc ,K}$como:

${\displaystyle p_{6}(f,a\lor e)={\frac {\prod _{k=1}^{K}p_{k}(f,a\lor e)^{\alpha _{k}}}{\sum _{a',f'}\prod _{k=1}^{K}p_{k}(f',a'\mid e)^{\alpha _{k}}}}}$

La combinación log-lineal se utiliza en lugar de la combinación lineal porque${\displaystyle P_{r}(f,a\mid e)}$Los valores suelen ser diferentes en términos de sus órdenes de magnitud para HMM e IBM Model 4. ^{[ 14 ]}

• Knight, Kevin (15 de diciembre de 1997). "Automatización de la adquisición de conocimiento para la traducción automática" . AI Magazine . 18 (4): 81. doi : 10.1609/aimag.v18i4.1323 . ISSN 2371-9621 . 
• Knight, Kevin. " Un manual tutorial de MT estadística ". Preparado para el Taller de Verano de JHU de 1999. 1999.