Évaluation des traductions

Le BLEUBilingual Evaluation Understudy — compare la traduction candidate aux références via les recouvrements de mots. → glossaire a été proposé par Papineni et al. (2002) pour estimer automatiquement la proximité d’une traduction candidate avec une ou plusieurs références humainesTraductions de référence produites par des humains — le BLEU mesure la proximité lexicale avec elles, pas la « vérité » absolue.. L’idée centrale : plus une sortie machine recoupe lexicalement les références, meilleure elle est jugée — via la moyenne géométrique des précisions modifiées sur les n-grammesSéquences de n mots consécutifs (ici jusqu’à 4-grammes par défaut). (jusqu’à 4-grammes par défaut), multipliée par une pénalité de brièveté si la traduction est trop courte.

Dans ce projet, les scores sont calculés avec SacreBLEUImplémentation standardisée du BLEU (protocole WMT) — tokenisation figée pour des comparaisons reproductibles entre runs. → glossaire (Post, 2018) : tokenisation et prétraitement figés (protocole WMT), ce qui rend les chiffres reproductibles et comparables entre runsUne expérience complète (entraînement + évaluation) identifiée par un run_XXX dans le dépôt. du dépôt. L’outil affiche le BLEU sur une échelle 0–100 (équivalent à la formule originale 0–1 × 100).

Comment lire un score ?

Papineni et al. insistent sur trois points souvent oubliés :

• Pas de « note sur 100 ». Même un traducteur humain n’atteint pas le plafond : sur un corpus d’actualités (~500 phrases, 2 références), un traducteur professionnel obtient environ 25,7 BLEU ; avec 4 références, environ 34,7 — le score monte mécaniquement quand il y a plus de références.
• Comparaison relative, pas absolue. Le BLEU est conçu pour classer des systèmes sur un même jeu de testSous-ensemble du corpus réservé à l’évaluation finale — jamais vu à l’entraînement. et un même protocole ; comparer des chiffres issus de corpus, langues ou nombres de références différents est trompeur.
• Mesure de surface, pas de sens. Une paraphrase correcte peut être pénalisée si elle n’emploie pas les mêmes mots que la référence ; d’où l’intérêt des lectures qualitatives ci-dessous.

Repères sur m-TEDx fr→en (utteranceDécoupage par énoncé natif du corpus — protocole de l’article Pantagruel. → glossaire)

Illustrations tirées de nos runs — même intervention TED (9fxo9YJhnG8), split validJeu de développement (souvent appelé dev) — sert au suivi pendant l’entraînement et à la sélection du meilleur checkpoint.. Le BLEU corpusScore agrégé sur l’ensemble des segments du split — une phrase isolée peut être bonne malgré un score modeste. agrège des centaines de segments ; une phrase peut être correcte malgré un score modeste.

Sur notre jeu de test, un BLEU autour de 25–26 se situe au niveau de la référence article PantagruelEncodeur acoustique français du LIG-GETALP — référence scientifique et scores Table 8. → article-L-14k ; ~15 correspond à un système utile mais encore fragile. Comparaisons chiffrées : page Résultats · lectures détaillées : exemples audio.

Voir aussi la fiche BLEU dans le glossaire.

Le corpus m-TEDxCorpus TEDx multilingue (OpenSLR 100) — audio français aligné avec traductions anglaises de référence. → corpus fournit des segments alignés audio–texte. Deux découpages coexistent dans le protocole S3T :

• utteranceDécoupage par énoncé : chaque segment = une phrase parlée native du corpus. → glossaire — segments natifs du corpus (une prise de parole courte, souvent une phrase ou un fragment). C’est le découpage de l’article Pantagruel et celui des tableaux « meilleur run » sur la page Résultats.
• sentence_likeFusion de segments voisins en pseudo-phrases plus longues — scores non comparables à utterance. → glossaire — fusion de segments voisins pour former des unités plus longues, proches d’une phrase complète. Utile pour certaines variantes (notamment speechLLM dégelé et Speech_TextVariante 5 : modèle multimodal Pantagruel (audio + texte). → variante 5), mais les scores ne sont pas directement comparables à ceux en utterance.

Comparer un BLEU utterance et un BLEU sentence_like sans précaution est trompeur : les références changent de granularitéTaille des unités évaluées — une phrase fusionnée n’a pas la même référence qu’un énoncé court isolé., et les modèles cloud ou en cascadeVariante 4 : ASR (Whisper) puis traduction texte (Marian) — la parole est d’abord transcrite en français. → variante 4 peuvent ne pas avoir été évalués sur les deux découpages.

Définitions détaillées : utterance · sentence_like · segmentation.

SacreBLEUImplémentation standardisée du BLEU (protocole WMT) — tokenisation figée pour des comparaisons reproductibles. → glossaire a été retenu comme métrique principale du projet pour garantir la comparabilité directe avec la Table 8 de l'article Pantagruel (2026). Quatre familles de métriques alternatives ont été considérées et écartées comme indicateur primaire — voici pourquoi.

chrF — Character F-score

Popović (2015) mesure la précision et le rappel sur des n-grammes de caractèresSous-séquences de n caractères consécutifs — insensibles à la morphologie et à la tokenisation. entre candidate et référence. La métrique est moins sensible à la tokenisation et aux variantes morphologiques que le BLEU ; elle est populaire dans les évaluations WMT depuis 2017.

Pourquoi pas retenu comme métrique primaire ? SacreBLEU calcule déjà le chrF2 pour chaque run (visible dans eval/sacrebleu_*.txt et experiments_tracking.csv) — la mesure est donc présente dans les données, mais en secondaire. L'article Pantagruel publie uniquement le BLEU en Table 8 ; utiliser chrF comme indicateur principal empêcherait toute comparaison directe avec les scores de référence.

COMET — métriques neuronales calibrées sur les jugements humains

Rei et al. (2020, 2022) — famille de métriques entraînées sur des annotations humaines (DADirect Assessment — annotation humaine de la qualité globale d'une traduction sur une échelle continue. et MQMMultidimensional Quality Metrics — annotation fine des erreurs (adéquation, fluidité, terminologie…). Standard dans les évaluations WMT récentes.). COMET-22 est orienté référence ; CometKiwiVariante quality estimation de COMET — évalue sans référence humaine, utile pour les langues peu dotées ou les corpus sans traductions de référence. fonctionne sans référence (quality estimation). Ces métriques ont aujourd'hui une corrélation avec les jugements humains nettement supérieure à celle du BLEU.

Pourquoi pas retenu ?

• Réplicabilité limitée. Les scores COMET dépendent de la version exacte du modèle (COMET-20, COMET-22, CometKiwi-22, CometKiwi-23…), du checkpoint Hugging Face chargé, de la version de unbabel-comet et du prétraitement interne. Le modèle « recommandé » change à chaque campagne WMT : deux équipes qui publient un score COMET sans figer ces éléments ne sont pas nécessairement comparables, et un lecteur ne peut pas reproduire le chiffre à partir du seul protocole décrit dans l’article.
• Pas de signature figée. Contrairement à SacreBLEU — qui enregistre une signature (tokenisation, lissage, version) dans chaque fichier eval/sacrebleu_*.txt — COMET ne fournit pas d’équivalent standardisé permettant de vérifier a posteriori qu’un score a été calculé avec exactement les mêmes hypothèses.
• Pas de référence Pantagruel. La Table 8 n’indique aucun score COMET ; adopter cette métrique comme primaire ne permettrait pas de situer nos runs par rapport à l’article, tout en ajoutant une source d’écart méthodologique supplémentaire.

LLM as a judge — GEMBA et variants

Kocmi & Federmann (2023) ont montré que soumettre source, traduction et éventuellement référence à un LLM (GPT-4, Gemini…) avec un prompt calibré produit des scores (GEMBA-MQM) dont la corrélation avec les annotations MQM humaines surpasse COMET sur WMT 22.

Pourquoi pas retenu ?

• Réplicabilité très faible. Les sorties d’un LLM-juge sont stochastiques (température, échantillonnage) et les modèles API sont mis à jour sans version figée ni garantie de rétrocompatibilité : recalculer un score quelques mois plus tard, avec un autre identifiant de modèle ou une autre date d’appel, peut produire des chiffres différents sans que l’expérience d’entraînement ait changé. Pour la recherche académique, un protocole d’évaluation doit pouvoir être reproduit à l’identique par un tiers ; ce n’est pas le cas ici.
• Sensibilité au prompt. Le score dépend du libellé exact du prompt, de l’ordre des champs (source, candidate, référence), du format de sortie attendu et parfois du langage de consigne — autant de choix non standardisés qui ne figurent pas dans les publications comparables et qui font varier les résultats d’une implémentation à l’autre.
• Biais méthodologique. Évaluer les traductions de la variante Gemini (variante 3) avec un autre modèle de la même famille comme juge introduit un biais difficile à quantifier et à documenter de façon reproductible.

TER et BERTScore

TERTranslation Error Rate (Snover et al., 2006) — distance d'édition au mot (substitutions, insertions, suppressions, déplacements) normalisée par la longueur de la référence. Plus bas = meilleur. (Snover et al., 2006) est une distance d'édition au mot, déjà calculée par SacreBLEU et présente dans experiments_tracking.csv. Elle est moins utilisée pour la ST que pour la traduction texte et son sens inversé (plus bas = mieux) crée de la confusion dans les tableaux comparatifs.

BERTScoreZhang et al. (2020) — similarité cosinus entre embeddings BERT de la candidate et de la référence. Capture les paraphrases mieux que le BLEU, mais dépend du modèle BERT choisi. (Zhang et al., 2020) capture mieux les paraphrases correctes que le BLEU, mais sa valeur absolue dépend fortement du modèle d'embedding retenu — ce qui rend la comparaison externe difficile — et il n'est pas calculé par SacreBLEU. Comme COMET, il aurait exigé une dépendance GPU supplémentaire et n'offre aucune référence dans le papier Pantagruel.