Deux corpus articulent le pipeline S3T : l’un fournit la base acoustique de l’encodeur PantagruelEncodeur acoustique français développé au LIG-GETALP — l’« oreille » du système. → glossaire, l’autre sert de terrain d’entraînementFine-tuning : ajustement du modèle sur un corpus cible (ici m-TEDx) après le pré-entraînement de l’encodeur. et d’évaluation pour la traduction de la paroleSpeech Translation (ST) : passer directement de l’audio source à du texte traduit, sans étape de transcription intermédiaire visible. français → anglais.
Survolez les termes soulignés en pointillésExplication courte affichée au survol de la souris. pour une définition en langage courant. Si la bulle contient un lien, cliquez d’abord sur le terme pour la maintenir affichée, puis sur le lien — sinon elle disparaît dès que la souris s’éloigne.
Corpus 1 · Pré-entraînement de l’encodeur
Enregistrements radio et télévisés français collectés par l’Institut National de l’Audiovisuel (INA), constituant la base de données audio du projet LeBenchmark 2.0. Ces données ont servi à pré-entraînerPremière phase d’apprentissage sur un très grand volume de parole, avant le fine-tuning sur m-TEDx. → glossaire les modèles Pantagruel en auto-supervisionLe modèle apprend à partir du signal audio seul, sans transcriptions ni étiquettes humaines. (cadre JEPAJoint Embedding Predictive Architecture : prédire des représentations internes plutôt que reconstruire l’audio brut. → article LeCun (2022) / data2vec 2.0Implémentation concrète du cadre JEPA utilisée pour entraîner Pantagruel sur la parole.) : l’encodeur acoustiquePartie du modèle qui convertit le signal audio en vecteurs numériques. → glossaire apprend des représentations de la parole française sans aucune transcription ni supervision externe.
| Propriété | Détail |
|---|---|
| Source | Émissions radio et télévisées françaises — archives INA |
| Paradigme | Auto-supervisionSelf-Supervised Learning (SSL) : apprentissage sans étiquettes — le signal fournit lui-même les objectifs d’entraînement. (SSL) — pas de transcription requise |
| Méthode | JEPA / data2vec 2.0 (prédiction en espace latentEspace de vecteurs continus produits par l’encodeur — on y prédit des représentations, pas l’audio brut., schéma teacher-studentDeux encodeurs : un « professeur » voit tout l’audio, un « étudiant » ne voit qu’une partie masquée et doit retrouver les vecteurs du professeur.) |
| Modèles produits |
PantagrueLLM/speech-base-1K,
PantagrueLLM/speech-large-14K,
PantagrueLLM/speech-large-114K
|
PantagrueLLM/speech-* prêts à charger. sont utilisés.
Corpus 2 · Fine-tuning et évaluation STSpeech Translation — traduction directe de la parole vers du texte dans une autre langue.
Corpus de traduction de la parole construit à partir de conférences TEDx multilingues avec leurs sous-titres alignés. Il couvre plusieurs directions de traduction depuis le français ; le projet S3T se concentre sur la direction français → anglais (50 heures d’entraînement), avec le même protocole de découpage et d’évaluation que l’article PantagruelRéférence scientifique (2026) qui fixe le protocole utterance et les scores de comparaison. → arXiv.
| Propriété | Détail |
|---|---|
| Source | Conférences TEDx sous licence Creative Commons, sous-titres humains alignés |
| Découpage | utteranceDécoupage par énoncé : chaque segment = une phrase parlée native du corpus. → glossaire (segments natifs m-TEDx, protocole article) et sentence_likeFusion de segments voisins en pseudo-phrases plus longues — scores non comparables à utterance. → glossaire (fusion de segments voisins, variante S3T) |
| Format | Audio WAV 16 kHz mono + manifests TSVFichiers tabulés listant chaque segment : chemin audio, texte source (FR), texte cible (EN), locuteur… (id, audio, n_frames, src_text, tgt_text, speaker) |
| Téléchargement (pipeline S3T) | python scripts_communs/pipeline.py download --lang-pair fr-en |
| Référence | Salesky et al., The Multilingual TEDx Corpus for Speech Recognition and Translation, INTERSPEECH 2021 |
2_prepare.py), entraînement du tokenizer
SentencePieceVocabulaire de sous-mots appris sur les traductions anglaises (~1 000 unités) avant l’entraînement du décodeur.
(3_spm.py),
entraînement du décodeur (4_train.py) et évaluation
SacreBLEUImplémentation standardisée du score BLEU — même métrique pour toutes les variantes. → glossaire
(5_evaluate.py).
C’est le seul corpus de fine-tuning ST du projet ; toutes les variantes (Transformer, speechLLM, Cascade, Speech_Text)
partagent les mêmes manifests normalisés. Voir aussi la page Pipeline.
Morgane Bona-Pellissier est étudiante en master de traitement automatique des langues à l’Université Paris Nanterre après un doctorat en traductologie (Université de Genève, 2023). Ses recherches portent sur la traduction automatique neuronale et les langues peu dotées et minorisées ; elle parle notamment catalan et étudie le breton.