Les corpus du projet

Deux corpus articulent le pipeline S3T : l’un fournit la base acoustique de l’encodeur PantagruelEncodeur acoustique français développé au LIG-GETALP — l’« oreille » du système. → glossaire, l’autre sert de terrain d’entraînementFine-tuning : ajustement du modèle sur un corpus cible (ici m-TEDx) après le pré-entraînement de l’encodeur. et d’évaluation pour la traduction de la paroleSpeech Translation (ST) : passer directement de l’audio source à du texte traduit, sans étape de transcription intermédiaire visible. français → anglais.

Survolez les termes soulignés en pointillésExplication courte affichée au survol de la souris. pour une définition en langage courant. Si la bulle contient un lien, cliquez d’abord sur le terme pour la maintenir affichée, puis sur le lien — sinon elle disparaît dès que la souris s’éloigne.

Corpus 1 · Pré-entraînement de l’encodeur

INA — LeBenchmark 2.0

Enregistrements radio et télévisés français collectés par l’Institut National de l’Audiovisuel (INA), constituant la base de données audio du projet LeBenchmark 2.0. Ces données ont servi à pré-entraînerPremière phase d’apprentissage sur un très grand volume de parole, avant le fine-tuning sur m-TEDx. → glossaire les modèles Pantagruel en auto-supervisionLe modèle apprend à partir du signal audio seul, sans transcriptions ni étiquettes humaines. (cadre JEPAJoint Embedding Predictive Architecture : prédire des représentations internes plutôt que reconstruire l’audio brut. → article LeCun (2022) / data2vec 2.0Implémentation concrète du cadre JEPA utilisée pour entraîner Pantagruel sur la parole.) : l’encodeur acoustiquePartie du modèle qui convertit le signal audio en vecteurs numériques. → glossaire apprend des représentations de la parole française sans aucune transcription ni supervision externe.

14 000 h Pantagruel-BaseTaille « Base » (~74 M paramètres), entraînée sur 14 000 h. / Large (14K)
114 000 h Pantagruel-LargeTaille « Large » (~307 M paramètres), version 114K entraînée sur 114 000 h. (114K)
16 kHz Fréquence d’échantillonnageNombre de mesures du signal par seconde — 16 000 Hz est le standard du projet (un échantillon toutes les 62,5 µs).
Français Langue unique
Propriété Détail
Source Émissions radio et télévisées françaises — archives INA
Paradigme Auto-supervisionSelf-Supervised Learning (SSL) : apprentissage sans étiquettes — le signal fournit lui-même les objectifs d’entraînement. (SSL) — pas de transcription requise
Méthode JEPA / data2vec 2.0 (prédiction en espace latentEspace de vecteurs continus produits par l’encodeur — on y prédit des représentations, pas l’audio brut., schéma teacher-studentDeux encodeurs : un « professeur » voit tout l’audio, un « étudiant » ne voit qu’une partie masquée et doit retrouver les vecteurs du professeur.)
Modèles produits PantagrueLLM/speech-base-1K, PantagrueLLM/speech-large-14K, PantagrueLLM/speech-large-114K
Rôle dans le pipeline S3T : l’encodeur Pantagruel pré-entraîné sur INA est chargé en début de pipeline (étape 0) et utilisé comme extracteur de caractéristiques acoustiques figéGelé : les poids de l’encodeur ne sont pas mis à jour pendant l’entraînement (sauf dégel partiel optionnel). → glossaire (ou partiellement dégeléDégelé : certains poids de l’encodeur continuent d’apprendre pendant le fine-tuning sur m-TEDx.) pour toutes les variantes du projet. Le corpus INA n’est jamais re-téléchargé : seuls les poidsParamètres internes du réseau de neurones, sauvegardés dans un checkpoint. publiés sur Hugging FacePlateforme qui héberge les checkpoints PantagrueLLM/speech-* prêts à charger. sont utilisés.
L’encodeur Pantagruel (INA) est branché à un décodeur TransformerRéseau qui lit les vecteurs audio et génère le texte anglais. → Attention Is All You Need fine-tunéAjusté sur m-TEDx après le pré-entraînement de l’encodeur — c’est là que le modèle apprend à traduire. sur m-TEDxCorpus TEDx multilingue avec sous-titres alignés — terrain d’entraînement ST du projet. → section ci-dessous

Corpus 2 · Fine-tuning et évaluation STSpeech Translation — traduction directe de la parole vers du texte dans une autre langue.

m-TEDx — Multilingual TEDx

Corpus de traduction de la parole construit à partir de conférences TEDx multilingues avec leurs sous-titres alignés. Il couvre plusieurs directions de traduction depuis le français ; le projet S3T se concentre sur la direction français → anglais (50 heures d’entraînement), avec le même protocole de découpage et d’évaluation que l’article PantagruelRéférence scientifique (2026) qui fixe le protocole utterance et les scores de comparaison. → arXiv.

50 h Train fr→en
38 h Train fr→pt
25 h Train fr→es
OpenSLR Ressource n° 100Catalogue OpenSLR de corpus libres pour la recherche en parole — m-TEDx y est hébergé.
Propriété Détail
Source Conférences TEDx sous licence Creative Commons, sous-titres humains alignés
Découpage utteranceDécoupage par énoncé : chaque segment = une phrase parlée native du corpus. → glossaire (segments natifs m-TEDx, protocole article) et sentence_likeFusion de segments voisins en pseudo-phrases plus longues — scores non comparables à utterance. → glossaire (fusion de segments voisins, variante S3T)
Format Audio WAV 16 kHz mono + manifests TSVFichiers tabulés listant chaque segment : chemin audio, texte source (FR), texte cible (EN), locuteur… (id, audio, n_frames, src_text, tgt_text, speaker)
Téléchargement (pipeline S3T) python scripts_communs/pipeline.py download --lang-pair fr-en
Référence Salesky et al., The Multilingual TEDx Corpus for Speech Recognition and Translation, INTERSPEECH 2021
Rôle dans le pipeline S3T : m-TEDx fournit les paires (audio français, texte anglais) utilisées aux étapes 1–5 : préparation des manifests (2_prepare.py), entraînement du tokenizer SentencePieceVocabulaire de sous-mots appris sur les traductions anglaises (~1 000 unités) avant l’entraînement du décodeur. (3_spm.py), entraînement du décodeur (4_train.py) et évaluation SacreBLEUImplémentation standardisée du score BLEU — même métrique pour toutes les variantes. → glossaire (5_evaluate.py). C’est le seul corpus de fine-tuning ST du projet ; toutes les variantes (Transformer, speechLLM, Cascade, Speech_Text) partagent les mêmes manifests normalisés. Voir aussi la page Pipeline.

À propos

Morgane Bona-Pellissier est étudiante en master de traitement automatique des langues à l’Université Paris Nanterre après un doctorat en traductologie (Université de Genève, 2023). Ses recherches portent sur la traduction automatique neuronale et les langues peu dotées et minorisées ; elle parle notamment catalan et étudie le breton.