Glossaire du projet

Score standard pour évaluer la qualité d’une traduction automatique (Papineni et al., 2002). Il compare les n-grammes de l’hypothèse avec ceux de la référence via une moyenne géométrique de précisions modifiées. SacreBLEU (Post, 2018) l’affiche sur une échelle 0–100.

Dans ce projet, le contexte désigne ce que le modèle « voit » et produit à l’inférence : taille de l’entrée audio + prompt (s’il y en a un) + input modèle (représentations audio / tokens) + plafond de sortie (ex. max_new_tokens). Ce n’est pas le « contexte conversationnel » d’un chatbot, mais la fenêtre utile pour une traduction ST.

Partie du modèle qui convertit le signal audio en vecteurs numériques représentant le contenu de la parole. On peut l’imaginer comme une « oreille entraînée » qui résume chaque instant de son en un point dans un espace mathématique à haute dimension.

Encodeur acoustique développé au LIG-GETALP, basé sur l’architecture Whisper. Trois tailles sont disponibles : B-1k (Base, entraîné sur 1 000 h), L-14k (Large, 14 000 h), L-114k (Large, 114 000 h). Plus la version est grande, meilleure est la représentation acoustique — mais plus coûteuse en calcul.

Grand modèle de langue : réseau de neurones pré-entraîné sur d’immenses quantités de texte, capable de générer du texte cohérent. Il sert ici de « cerveau textuel » qui reçoit les vecteurs audio transformés et produit la traduction en anglais.

Petit adaptateur composé de quelques couches linéaires qui « traduit » les vecteurs produits par l’encodeur audio dans l’espace numérique attendu par le LLM. C’est le seul composant entraîné en mode B1 — ce qui rend l’entraînement beaucoup plus rapide qu’une approche bout-en-bout complète.

Tâche de traduction directe de la parole en texte dans la langue cible (ici audio français → texte anglais), en un seul modèle. À distinguer de la cascade ASR→MT (transcription FR puis traduction texte) et des approches entraînées sur m-TEDx (variantes 1–2).

Modèle dont les poids (paramètres) sont publiés et téléchargeables (Hugging Face, NeMo, etc.). On peut relancer l’inférence localement sans API propriétaire — condition importante pour la reproductibilité académique.

Utilisation d’un modèle sans entraînement ni fine-tuning sur les données du projet : on charge les poids pré-entraînés et on évalue directement sur m-TEDx. Les performances reflètent le savoir général du modèle, pas un apprentissage spécifique au corpus.

Un module est gelé quand ses poids (paramètres internes) sont bloqués pendant l’entraînement : il traite les données mais n’apprend pas. Un module dégelé peut se mettre à jour. Geler l’encodeur stabilise l’entraînement et réduit les risques de catastrophic forgetting, mais plafonne les performances.

Stratégie où le taux d’apprentissage (vitesse à laquelle le modèle met à jour ses poids) commence très faiblement, monte progressivement pendant les premières mises à jour (warmup), puis suit un planning de décroissance. Cela évite les mises à jour trop brusques en début d’entraînement qui pourraient déstabiliser le modèle.

Technique d’augmentation de données audio : pendant l’entraînement, on masque aléatoirement des bandes de fréquences ou des intervalles de temps dans le spectrogramme d’entrée. Cela force le modèle à être robuste aux occultations partielles, améliorant la généralisation.

Identifiant d’une expérience (entraînement ou évaluation). Chaque run teste une combinaison précise de paramètres (encodeur, segmentation, LLM, modèle ST, etc.). Les résultats sont tracés par run pour faciliter les comparaisons.

Phase où le modèle produit des traductions à partir d’audio, sans mettre à jour ses poids. Les variantes 3–4–6 n’entraînent rien sur m-TEDx : elles chargent des modèles pré-entraînés et passent directement à l’inférence (souvent en zero-shot).

Unité de base du texte pour un LLM. Les tokens ne correspondent pas exactement aux mots : un mot courant est souvent un seul token (« the »), un mot rare est découpé en plusieurs (« trans·la·tion »). En moyenne, 1 mot anglais ≈ 1,3 tokens.

Nombre maximal de tokens que le modèle peut générer pour une traduction. Si la valeur est trop élevée, le modèle peut produire des textes bien trop longs, faisant chuter le score BLEU même si la traduction est correcte au début.

Algorithme de décodage qui maintient en parallèle N hypothèses de traduction (le « faisceau », ou beam) à chaque étape. À chaque token, on ne garde que les N meilleures extensions. Un beam plus large explore plus de possibilités mais est plus lent ; un beam trop grand peut produire des répétitions avec certains modèles.

Stratégie de décodage la plus simple : à chaque étape, on choisit le token le plus probable sans explorer d’autres options. C’est beam search avec beam=1. Rapide, mais peut rater de meilleures traductions accessibles en explorant davantage.

Texte d’instruction passé au LLM avant les vecteurs audio pour lui indiquer ce qu’on attend de lui : traduire en anglais, ne pas commenter, respecter une certaine longueur, etc. La qualité du prompt influence fortement la langue de sortie et la verbosité du modèle.

Façon dont les enregistrements audio longs sont découpés en segments pour l’entraînement et l’évaluation. Le choix de segmentation influe sur le type de référence (phrase vs énoncé) et donc sur la manière dont le BLEU est calculé. Les scores utterance et sentence_like ne sont pas directement comparables.

Mode de segmentation qui découpe l’audio par énoncé : chaque segment correspond à une prise de parole continue (une phrase parlée, ou fragment). Les segments sont courts et correspondent aux alignements du corpus m-TEDx.

Mode de segmentation qui regroupe des énoncés consécutifs en pseudo-phrases plus longues, en cherchant des pauses naturelles. Les segments sont plus longs et la référence de traduction aussi, ce qui peut donner de meilleurs scores BLEU absolus mais représente une tâche légèrement différente.

Fichier tabulé (train.tsv, valid.tsv, test.tsv) qui liste les segments audio à utiliser pour l’entraînement ou l’évaluation, avec leurs chemins et références de traduction. Toutes les variantes évaluent sur les mêmes manifests pour garantir la comparabilité des scores BLEU.

Processeur spécialisé pour les calculs matriciels en parallèle, indispensable à l’entraînement de réseaux de neurones. La « durée GPU » indique combien de temps de calcul sur GPU a été consommé par un run (entraînement + évaluation).