BLEU

Un primer intento básico de definir la puntuación BLEU tomaría dos argumentos: una cadena candidata${\displaystyle {\hat {y}}}$y una lista de cadenas de referencia${\displaystyle (y^{(1)},...,y^{(N)})}$La idea es que${\displaystyle BLEU({\sombrero {y}};y^{(1)},...,y^{(N)})}$debería estar cerca de 1 cuando${\displaystyle {\hat {y}}}$es similar a${\displaystyle y^{(1)},...,y^{(N)}}$y cercano a 0 en caso contrario.

A modo de analogía, la puntuación BLEU es como un profesor de idiomas que intenta calificar la calidad de la traducción de un estudiante.${\displaystyle {\hat {y}}}$comprobando qué tan fielmente sigue las respuestas de referencia${\displaystyle y^{(1)},...,y^{(N)}}$.

Dado que en el procesamiento del lenguaje natural se debe evaluar un gran conjunto de cadenas candidatas, es necesario generalizar la puntuación BLEU al caso en el que se dispone de una lista de M cadenas candidatas (denominada " corpus ").${\displaystyle ({\hat {y}}^{(1)},\cdots ,{\hat {y}}^{(M)})}$y para cada cadena candidata${\displaystyle {\sombrero {y}}^{(i)}}$, una lista de cadenas candidatas de referencia${\displaystyle S_{i}:=(y^{(i,1)},...,y^{(i,N_{i})})}$.

Dada cualquier cadena${\displaystyle y=y_{1}y_{2}\cdots y_{K}}$y cualquier número entero${\displaystyle n\geq 1}$, definimos el conjunto de sus n-gramas como$${\displaystyle G_{n}(y)=\{y_{1}\cdots y_{n},y_{2}\cdots y_{n+1},\cdots ,y_{K-n+1}\cdots y_{K}\}}$$Tenga en cuenta que se trata de un conjunto de elementos únicos, no de un multiconjunto que permita elementos redundantes, de modo que, por ejemplo,${\displaystyle G_{2}(abab)=\{ab,ba\}}$.

Dadas dos cadenas cualesquiera${\displaystyle s,y}$, define el recuento de subcadenas${\displaystyle C(s,y)}$ser el número de apariciones de${\displaystyle s}$como una subcadena de${\displaystyle y}$. Por ejemplo,${\displaystyle C(ab,abcbab)=2}$.

Ahora, fijemos un corpus candidato.${\displaystyle {\hat {S}}:=({\hat {y}}^{(1)},\cdots ,{\hat {y}}^{(M)})}$y corpus de candidatos de referencia${\displaystyle S=(S_{1},\cdots ,S_{M})}$, donde cada${\displaystyle S_{i}:=(y^{(i,1)},...,y^{(i,N_{i})})}$.

Defina la función de precisión de n-gramas modificada como:$${\displaystyle p_{n}({\hat {S}};S):={\frac {\sum _{i=1}^{M}\sum _{s\in G_{n}({\hat {y}}^{(i)})}\min(C(s,{\hat {y}}^{(i)}),\max _{y\in S_{i}}C(s,y))}{\sum _{i=1}^{M}\sum _{s\in G_{n}({\hat {y}}^{(i)})}C(s,{\hat {y}}^{(i)})}}}$$El n-grama modificado, que parece complicado, es simplemente una generalización directa del caso prototípico: una oración candidata y una oración de referencia. En este caso, es$${\displaystyle p_{n}(\{{\hat {y}}\};\{y\})={\frac {\sum _{s\in G_{n}({\hat {y}})}\min(C(s,{\hat {y}}),C(s,y))}{\sum _{s\in G_{n}({\hat {y}})}C(s,{\hat {y}})}}}$$Para llegar a esta expresión, comenzamos con la suma de conteo de n-gramas más obvia:$${\displaystyle \sum _{s\in G_{n}({\hat {y}})}C(s,y)={\text{número de n-subcadenas en }}{\hat {y}}{\text{ que aparecen en }}y}$$ Esta cantidad mide cuántos n-gramas de la oración de referencia se reproducen en la oración candidata. Tenga en cuenta que contamos las n-subcadenas , no los n-gramas . Por ejemplo, cuando${\displaystyle {\sombrero {y}}=aba,y=abababa,n=2}$, todas las subcadenas de 2 elementos en${\displaystyle {\hat {y}}}$(ab y ba) aparecen en${\displaystyle y}$3 veces cada uno, por lo que el recuento es 6, no 2.

En la situación anterior, sin embargo, la cadena candidata es demasiado corta. En lugar de 3 apariciones de${\displaystyle ab}$Contiene solo uno, así que añadimos una función mínima para corregirlo:$${\displaystyle {\sum _{s\in G_{n}({\hat {y}})}\min(C(s,{\hat {y}}),C(s,y))}}$$Esta suma de recuentos no se puede utilizar para comparar entre oraciones, ya que no está normalizada. Si tanto la oración de referencia como la candidata son largas, el recuento podría ser grande, incluso si la candidata es de muy mala calidad. Por lo tanto, la normalizamos.$${\displaystyle {\frac {\sum _{s\in G_{n}({\hat {y}})}\min(C(s,{\hat {y}}),C(s,y))}{\sum _{s\in G_{n}({\hat {y}})}C(s,{\hat {y}})}}}$$La normalización es tal que siempre es un número en${\displaystyle [0,1]}$, lo que permite realizar comparaciones significativas entre corpus. Es cero si ninguna de las n-subcadenas del candidato está en la referencia. Es uno si cada n-grama del candidato aparece en la referencia, al menos tantas veces como en el candidato. En particular, si el candidato es una subcadena de la referencia, entonces es uno.

La precisión de n-gramas modificada otorga indebidamente una puntuación alta a las cadenas candidatas que son " telegráficas ", es decir, que contienen todos los n-gramas de las cadenas de referencia, pero la menor cantidad de veces posible.

Para castigar las cadenas candidatas que son demasiado cortas, defina la penalización por brevedad como:$${\displaystyle BP({\hat {S}};S):=e^{-(r/c-1)^{+}}}$$dónde${\displaystyle (r/c-1)^{+}=\max(0,r/c-1)}$es la parte positiva de${\displaystyle r/c-1}$.

• Cuando${\displaystyle r\leq c}$la penalización por brevedad${\displaystyle BP=1}$, lo que significa que no penalizamos a los candidatos con puntuaciones largas, sino solo a los candidatos con puntuaciones cortas.
• Cuando${\displaystyle r>c}$la penalización por brevedad${\displaystyle BP=e^{1-r/c}}$

${\displaystyle c}$es la longitud del corpus candidato, es decir,$${\displaystyle c:=\sum _{i=1}^{M}|{\hat {y}}^{(i)}|}$$dónde${\displaystyle |y|}$es la longitud de${\displaystyle y}$.

${\displaystyle r}$es la longitud efectiva del corpus de referencia , es decir,$${\displaystyle r:=\sum _{i=1}^{M}|y^{(i,j)}|}$$dónde${\displaystyle y^{(i,j)}=\arg \min _{y\in S_{i}}||y|-|{\hat {y}}^{(i)}||}$, es decir, la oración de${\displaystyle S_{i}}$cuya longitud es lo más cercana posible a${\displaystyle |{\sombrero {y}}^{(i)}|}$en la medida de lo posible.

No existe una única definición de BLEU, sino toda una familia de ellas, parametrizadas por el vector de ponderación.${\displaystyle w:=(w_{1},w_{2},\cdots)}$. Es una distribución de probabilidad sobre${\displaystyle \{1,2,3,\cdots \}}$, eso es,${\displaystyle \sum _{i=1}^{\infty }w_{i}=1}$, y${\displaystyle \forall i\in \{1,2,3,\cdots \},w_{i}\in [0,1]}$.

Con opción de${\displaystyle w}$, la puntuación BLEU es$${\displaystyle BLEU_{w}({\hat {S}};S):=BP({\hat {S}};S)\cdot \exp \left(\sum _{n=1}^{\infty }w_{n}\ln p_{n}({\hat {S}};S)\right)}$$En otras palabras, se trata de una media geométrica ponderada de todas las precisiones de n-gramas modificados, multiplicada por la penalización por brevedad. Utilizamos la media geométrica ponderada, en lugar de la media aritmética ponderada, para favorecer los corpus candidatos que sean buenos simultáneamente según múltiples precisiones de n-gramas.

La opción más típica, la recomendada en el artículo original, es${\displaystyle w_{1}=\cdots =w_{4}={\frac {1}{4}}}$. ^{[ 1 ]}