BLEU

BLEU

BLEU

BLEU (Bilingual Evaluation Understudy) es un método de evaluación de la calidad de traducciones realizadas por sistemas de traducción automática. Una traducción tiene mayor calidad cuanto más similar es con respecto a otra de referencia, que se supone correcta. BLEU puede calcularse utilizando más de una traducción de referencia. Esto permite una mayor robustez a la medida frente a traducciones libres realizadas por humanos.

BLEU se calcula normalmente a nivel de frases y halla la precisión en ngramas entre la traducción del sistema y la de referencia. Sin embargo, se utiliza una precisión modificada con el fin de solventar ciertas deficiencias en la medida.

Contenido

Precisión modificada

La precisión de ngramas entre 2 frases es:

P = \frac{\mbox{ngramas comunes}}{\mbox{ngramas candidata}}
Ejemplo de precisión en 1-gramas
Candidata 1 A cat is on the mat
Candidata 2 The cat exists in the board
Referencia The cat is on the table

En este ejemplo la precisión en 1-gramas sería de \frac{4}{6} para la candidata 1 y de \frac{3}{6} para la 2.

La precisión no es una medida adecuada para calcular la similitud entre 2 frases, como se puede ver a continuación:

Ejemplo de mala traducción con una alta precisión
Candidata the the the the the the
Referencia The cat is on the table

En este caso tendríamos una precisión de \frac{6}{6}=1. Por ello se ha de tener en cuenta el número máximo de ocurrencias de un ngrama en la frase de referencia, siendo éste el límite a la hora de contabilizar las apariciones en la frase candidata. Con esto en cuenta la precisión modificada sería de \frac{2}{6} en este último ejemplo.

Penalización por brevedad

Si las frases a comparar tienen una longitud muy distinta, no podemos afirmar que sean similares. Si la frase candidata tiene mayor longitud que la de referencia, este aspecto se ve reflejado en la fórmula de precisión modificada anterior. Habrán muchos ngramas en la frase candidata que no aparecerán en la frase de referencia por lo que la precisión será menor. Esto no ocurre cuando la frase de referencia es mucho menor, tal y como se puede observar en el siguiente ejemplo:

Ejemplo de mala traducción con alta precisión
Candidata the the
Referencia The cat is on the table

La precisión modificada sería de \frac{2}{2} = 1 y no reflejaría la similitud entre ambas frases. Por ello se introduce un penalizador por brevedad de las frases candidatas.

PB = \begin{cases} 1 \ \mbox{si} \ c > r \\ e ^{1-\frac{r}{c}}\end{cases}

donde c es la longitud de la frase candidata y r la longitud de la frase de referencia.

Cálculo de BLEU

Para el cálculo de BLEU se utiliza la media geométrica para los N ngramas que se vayan a utilizar. Cada ngrama tendrá un peso wn. Típicamente w_n=\frac{1}{N}.

BLEU = PB \cdot \exp \left( \sum_{n=1}^N w_n \log P_n \right)

Referencias

  • Papineni, K., Roukos, S., Ward, T., and Zhu, W. J. (2002). "BLEU: a method for automatic evaluation of machine translation" in ACL-2002: 40th Annual meeting of the Association for Computational Linguistics pp. 311--318

Véase también

Obtenido de "BLEU"

Wikimedia foundation. 2010.

Игры ⚽ Поможем написать курсовую

Mira otros diccionarios:

  • bleu — bleu …   Dictionnaire des rimes

  • bleu — bleu, bleue [ blø ] adj. et n. m. • bloi, blo, blefXIe; frq. °blao;cf. all. blau I ♦ 1 ♦ Qui est d une couleur, entre l indigo et le vert, dont la nature offre de nombreux exemples, comme un ciel dégagé au milieu du jour (⇒ azur), certaines… …   Encyclopédie Universelle

  • bleu — bleu, bleue (bleu, bleue) adj. 1°   Qui est de la couleur du ciel sans nuage. Des rubans bleus. Une robe bleue. Des yeux bleus. •   Une personne à la mode ressemble à une fleur bleue [bluet], LA BRUY. 13. •   Trois fioles d eau bleue, autrement d …   Dictionnaire de la Langue Française d'Émile Littré

  • bleu — BLEU, EUE. adj. Qui est de couleur d azur, de la couleur du Ciel. Satin bleu. Jupe bleue. Avoir les yeux bleus.Bleu, se dit quelquefois De la couleurque certains épanchemens de sang, certaines contusions font prendre à la peau. Quand le sang lui… …   Dictionnaire de l'Académie Française 1798

  • BLEU — (Bilingual Evaluation Understudy) is a method for evaluating the quality of text which has been translated from one natural language to another using machine translation. BLEU was one of the first software metrics to report high correlation with… …   Wikipedia

  • bleu — BLEU, [ble]ue. adj. Qui est de couleur d azur, de la couleur du ciel. Satin bleu. jupe bleuë. cette femme a les yeux bleus. quand les convulsions le prirent, il devint tout bleu. On appelle, Cordon bleu, Un grand ruban de tabis bleu que portent… …   Dictionnaire de l'Académie française

  • bleu — adj. invar., s.n. Albastru deschis; azuriu. [pr.: blö] – Din fr. bleu. Trimis de paula, 20.08.2002. Sursa: DEX 98  BLEU adj. invar. azuriu, (înv.) havaiu. (De culoare bleu.) …   Dicționar Român

  • Bleu — or BLEU may be * French for blue * A 1993 movie, . * Bilingual evaluation understudy * Belgium Luxembourg Economic Union * Bleu (musician), born William James McAuley III in Boston, Massachusetts and bandmember of pop group L.E.O.. * Bleu, a type …   Wikipedia

  • bleu — 〈[ blø:] Adj.; undekl.〉 grünlich blau ● ein Kleid in Bleu * * * bleu [blø: ] <indekl. Adj.> [frz. bleu = blau, aus dem Germ., verw. mit ↑ blau]: blassblau. * * * bleu   [blø; französisch »blau«], blassblau. * * * Bleu, das; s, , ugs.: s:… …   Universal-Lexikon

  • Bleu — (fr., spr. Blö), Blau, so Bleu de France (spr. Blö d Frangs), Kaliblau, s.u. Blaufärben Bleu mourant (spr. Blömurang, das im Deutschen verderbte Blümerant), s. Blaßblau; Bleu Thenard (Kobaltultramarin), eine aus Thonerde u. Kobaltoxydul… …   Pierer's Universal-Lexikon

Compartir el artículo y extractos

Link directo
… Do a right-click on the link above
and select “Copy Link”