Traducción automática estadística

La traducción automática estadística ( TAE ) es un método de traducción automática en el que las traducciones se generan a partir de modelos estadísticos cuyos parámetros se derivan del análisis de corpus de texto bilingües . Este método estadístico contrasta con los métodos de traducción automática basados ​​en reglas, así como con la traducción automática basada en ejemplos ^{[ 1 ]} , que sustituyó al método anterior basado en reglas, el cual requería la descripción explícita de cada regla lingüística, lo cual era costoso y, a menudo, no se generalizaba a otros idiomas.

Las primeras ideas de traducción automática estadística fueron introducidas por Warren Weaver en 1949, ^{[ 2 ]} incluyendo las ideas de aplicar la teoría de la información de Claude Shannon . La traducción automática estadística fue reintroducida a finales de la década de 1980 y principios de la de 1990 por investigadores del Centro de Investigación Thomas J. Watson de IBM . ^{[ 3 ] [ 4 ] [ 5 ]} Antes de la introducción de la traducción automática neuronal, era, con mucho, el método de traducción automática más estudiado.

La idea detrás de la traducción automática estadística proviene de la teoría de la información . Un documento se traduce según la distribución de probabilidad.${\displaystyle p(e|f)}$que una cuerda${\displaystyle e}$en el idioma de destino (por ejemplo, inglés) es la traducción de una cadena${\displaystyle f}$en el idioma de origen (por ejemplo, francés).

El problema de modelar la distribución de probabilidad${\displaystyle p(e|f)}$Se ha abordado de varias maneras. Un enfoque que se presta bien a la implementación informática es aplicar el teorema de Bayes , es decir${\displaystyle p(e|f)\propto p(f|e)p(e)}$donde el modelo de traducción${\displaystyle p(f|e)}$es la probabilidad de que la cadena de origen sea la traducción de la cadena de destino, y el modelo de lenguaje${\displaystyle p(e)}$es la probabilidad de ver esa cadena en el idioma de destino. Esta descomposición es atractiva ya que divide el problema en dos subproblemas. Encontrar la mejor traducción${\displaystyle {\tilde {e}}}$se hace eligiendo el que da la mayor probabilidad:

${\displaystyle {\tilde {e}}=arg\max _{e\in e^{*}}p(e|f)=arg\max _{e\in e^{*}}p(f|e)p(e)}$.

Para una implementación rigurosa de esto, habría que realizar una búsqueda exhaustiva recorriendo todas las cadenas.${\displaystyle e^{*}}$en el idioma nativo. La búsqueda eficiente es tarea de un decodificador de traducción automática que utiliza la cadena de caracteres extranjera, heurísticas y otros métodos para limitar el espacio de búsqueda y, al mismo tiempo, mantener una calidad aceptable. Este equilibrio entre calidad y tiempo de uso también se observa en el reconocimiento de voz .

Dado que los sistemas de traducción no pueden almacenar todas las cadenas de texto originales y sus traducciones, un documento se suele traducir frase por frase. Los modelos de lenguaje se suelen aproximar mediante modelos de n -gramas suavizados , y se han aplicado enfoques similares a los modelos de traducción, pero esto introduce una complejidad adicional debido a las diferentes longitudes de las frases y el orden de las palabras en los distintos idiomas.

Los modelos de traducción estadística se basaban inicialmente en palabras (modelos 1-5 del modelo oculto de Markov de IBM de Stephan Vogel ^{[ 6 ]} y modelo 6 de Franz-Joseph Och ^{[ 7 ]} ), pero se lograron avances significativos con la introducción de modelos basados ​​en frases . ^{[ 8 ]} Trabajos posteriores incorporaron sintaxis o estructuras cuasi-sintácticas. ^{[ 9 ]}

Los beneficios más citados de la traducción automática estadística (SMT) frente al enfoque basado en reglas son:

• Uso más eficiente de los recursos humanos y de datos.
  • Existen numerosos corpus paralelos en formato legible por máquina e incluso más datos monolingües.
  • Por lo general, los sistemas SMT no están diseñados para ningún par de idiomas específico.
• Traducciones más fluidas gracias al uso de un modelo lingüístico.

• La creación de corpus puede resultar costosa.
• Es difícil predecir y corregir errores específicos.
• Los resultados pueden tener una fluidez superficial que enmascara problemas de traducción. ^{[ 10 ]}
• La traducción automática estadística suele funcionar peor con pares de idiomas que presentan un orden de palabras significativamente diferente.
• Los beneficios obtenidos en la traducción entre lenguas de Europa Occidental no son representativos de los resultados para otros pares de idiomas, debido a la menor cantidad de corpus de entrenamiento y a las mayores diferencias gramaticales.

En la traducción literal, la unidad fundamental de traducción es una palabra en algún idioma natural. Por lo general, el número de palabras en las oraciones traducidas varía debido a las palabras compuestas, la morfología y las expresiones idiomáticas. La proporción entre las longitudes de las secuencias de palabras traducidas se denomina fertilidad, que indica cuántas palabras extranjeras produce cada palabra nativa. La teoría de la información asume necesariamente que cada palabra abarca el mismo concepto. En la práctica, esto no es del todo cierto. Por ejemplo, la palabra inglesa corner puede traducirse al español como rincón o esquina , dependiendo de si se refiere a su ángulo interno o externo.

La traducción simple basada en palabras no puede traducir entre idiomas con diferente fertilidad. Los sistemas de traducción basados ​​en palabras pueden manejarse con relativa facilidad con alta fertilidad, de modo que puedan asignar una sola palabra a varias, pero no al revés . Por ejemplo, si traducimos del inglés al francés, cada palabra en inglés puede producir cualquier número de palabras en francés , a veces ninguna. Pero no hay forma de agrupar dos palabras en inglés para producir una sola palabra en francés.

Un ejemplo de un sistema de traducción basado en palabras es el paquete GIZA++ disponible gratuitamente ( GPLed ), que incluye el programa de entrenamiento para los modelos IBM y el modelo HMM y el Modelo 6. ^{[ 7 ]}

La traducción basada en palabras no se usa ampliamente hoy en día; los sistemas basados ​​en frases son más comunes. La mayoría de los sistemas basados ​​en frases todavía usan GIZA++ para alinear el corpus . Las alineaciones se usan para extraer frases o deducir reglas sintácticas. ^{[ 11 ]} Y la coincidencia de palabras en textos bilingües sigue siendo un problema que se debate activamente en la comunidad. Debido a la predominancia de GIZA++, ahora existen varias implementaciones distribuidas en línea. ^{[ 12 ]}

En la traducción basada en frases, el objetivo es reducir las restricciones de la traducción basada en palabras traduciendo secuencias completas de palabras, cuya longitud puede variar. Estas secuencias de palabras se denominan bloques o frases. Por lo general, no se trata de frases lingüísticas , sino de fraseos extraídos de corpus mediante métodos estadísticos. Se ha demostrado que restringir las frases a frases lingüísticas (grupos de palabras con motivación sintáctica, véase categorías sintácticas ) disminuye la calidad de la traducción. ^{[ 13 ]}

Las frases elegidas se asignan posteriormente de forma uno a uno basándose en una tabla de traducción de frases, y pueden reordenarse. Esta tabla podría aprenderse mediante alineación de palabras o directamente a partir de un corpus paralelo. El segundo modelo se entrena utilizando el algoritmo de maximización de la expectativa , de forma similar al modelo IBM basado en palabras . ^{[ 14 ]}

La traducción basada en la sintaxis se basa en la idea de traducir unidades sintácticas , en lugar de palabras individuales o cadenas de palabras (como en la traducción automática basada en frases), es decir, árboles de análisis (parciales) de oraciones/enunciados. ^{[ 15 ]} Hasta la década de 1990, con la llegada de los analizadores estocásticos potentes , la contraparte estadística de la antigua idea de la traducción basada en la sintaxis no despegó. Ejemplos de este enfoque incluyen la traducción automática basada en DOP y, posteriormente, las gramáticas libres de contexto síncronas .

La traducción jerárquica basada en frases combina los enfoques de traducción basados ​​en frases y en sintaxis. Utiliza reglas gramaticales sincrónicas libres de contexto , pero las gramáticas pueden construirse mediante una extensión de los métodos de traducción basada en frases sin referencia a constituyentes sintácticos con motivación lingüística. Esta idea se introdujo por primera vez en el sistema Hiero de Chiang (2005). ^{[ 9 ]}

Un modelo de lenguaje es un componente esencial de cualquier sistema de traducción automática estadística, ya que ayuda a lograr una traducción lo más fluida posible. Es una función que toma una oración traducida y devuelve la probabilidad de que la diga un hablante nativo. Un buen modelo de lenguaje, por ejemplo, asignará una mayor probabilidad a la oración "la casa es pequeña" que a "pequeña la es casa". Además del orden de las palabras , los modelos de lenguaje también pueden ayudar con la elección de palabras: si una palabra extranjera tiene múltiples traducciones posibles, estas funciones pueden proporcionar mejores probabilidades para ciertas traducciones en contextos específicos en el idioma de destino. ^{[ 14 ]}

• Google Translate (comenzó la transición a la traducción automática neuronal en 2016) ^{[ 16 ]}

• Traductor de Microsoft (comenzó la transición a la traducción automática neuronal en 2016) ^{[ 17 ]}

• Yandex.Translate (cambió a un enfoque híbrido que incorpora traducción automática neuronal en 2017) ^{[ 18 ]}

Los problemas de la traducción automática estadística incluyen:

• Lista comentada de recursos estadísticos de procesamiento del lenguaje natural : incluye enlaces a software de traducción automática estadística de libre acceso.