Le pipeline S3T, étape par étape

Pantagruel est l’encodeur acoustiquePartie du modèle qui convertit le signal audio en vecteurs numériques — l’« oreille » du système. → glossaire au cœur de ce projet. Développé au LIG-GETALP (Université Grenoble Alpes), il transforme un signal audio français en vecteurs numériquesListes de nombres qui résument le contenu de la parole à chaque instant — le modèle raisonne sur ces nombres, pas directement sur les ondes sonores. — une sorte de « résumé mathématique » de ce qui est dit dans l’enregistrement.

Il est pré-entraînéEntraîné une première fois sur un très grand corpus avant ce projet ; on charge ses poids déjà appris plutôt que de repartir de zéro. → glossaire sur de très grandes quantités de parole française (jusqu’à 114 000 heures d’archives INA), sans transcription : il apprend à comprendre le son par lui-même (auto-supervisionLe modèle apprend à partir du signal seul, sans étiquettes humaines (pas de texte aligné sur l’audio)., cadre JEPAJoint Embedding Predictive Architecture : prédire des représentations internes plutôt que reconstruire l’audio brut. Cadre théorique de LeCun (2022), implémenté ici par data2vec 2.0. → article LeCun (2022)). Trois tailles sont disponibles : B-1kBase — architecture ~74 M de paramètres, entraînée sur 1 000 h de parole française., L-14kLarge — ~307 M de paramètres, entraînée sur 14 000 h. et L-114kLarge — même architecture que L-14k, mais entraînée sur 114 000 h : la représentation la plus riche, la plus coûteuse en calcul. — plus le modèle est grand, plus la représentation acoustique est riche, mais plus le calcul est coûteux.

Dans le pipeline S3T, Pantagruel joue le rôle de l’« oreille » pour les variantes 1 (TransformerRéseau de type « attention » qui traite une séquence (ici l’audio encodé ou le texte) en parallèle. Architecture décrite dans Attention Is All You Need (2017). → Vaswani et al.), 2 (speechLLMPantagruel branché à un grand modèle de langue (LLM) via un petit adaptateur — seul l’adaptateur est entraîné. → variante 2) et 5 (Speech_TextVariante de Pantagruel pré-entraînée sur parole et texte français — hypothèse : des représentations bimodales aident la traduction. → variante 5). Les variantes 1 et 5 le couplent à un décodeur TransformerRéseau qui lit les vecteurs produits par Pantagruel et génère le texte anglais, mot par mot ou sous-mot par sous-mot. qui produit le texte anglais — architecture décrite dans l’article fondateur Attention Is All You Need (Vaswani et al., 2017). Les poids pré-entraînés et la description scientifique complète sont publiés respectivement sur Hugging FacePlateforme qui héberge les checkpoints Pantagruel (PantagrueLLM/speech-base-1K, etc.) prêts à être chargés par le pipeline. et dans l’article Pantagruel (2026).