Résultats — Pantagruel S3T

Meilleur score par variante

Score BLEU obtenu sur le jeu de test m-TEDx pour chaque approche. Les scores en segmentation utterance sont comparables entre eux ; les scores sentence_like ne le sont pas directement.

41,1

3 · Gemini 3.5 Flash

6 · Open baselines ST

utterance · run_072→074

utterance · run_033 · ≈ article

25,2

Référence article

L-114k · Table 8 Pantagruel

sentence_like · run_001

Pourquoi Gemini et Cascade font mieux ? Ces deux variantes s’appuient sur des modèles pré-entraînés sur d’immenses corpus — Gemini via une API cloud, Cascade en chaînant Whisper (transcription) et Marian MT (traduction). La variante 6 teste des alternatives open weights reproductibles (Whisper-ST, SeamlessM4T v2, Canary-1B) sur le même protocole. Les variantes 1, 2 et 5 entraînent un modèle de zéro ou presque sur les seules données m-TEDx.

Données déjà vues ? Gemini et Whisper ont peut-être déjà rencontré des enregistrements proches de m-TEDx lors de leur entraînement initial : les conférences TED sont librement téléchargeables sur Internet. Ce biais potentiel complique la comparaison directe avec les approches entraînées uniquement sur le corpus du projet.

Résultats BLEU (test)

Découpage audio → glossaire

Paramètres des runs

#	Variante	Run	BLEU test	Paramètres clés

2 Variante 2 · speechLLM — impact des paramètres

Chaque barre représente un run speechLLM. La couleur indique la configuration : bonne (48 tokens, utterance), sentence_like, ou échouée (128 tokens).

Utterance · 48 tok (bon)

Sentence_like

LLM alternatif (Qwen / Llama)

Utterance · 128 tok (échec)

run_013 et run_012 (L-114k/L-14k gelés, 48 tok) obtiennent 15 BLEU utterance. Les runs à 128 tokens (run_017, run_021) s’effondrent à 5–6 malgré un encodeur identique.

Effet max_new_tokens : 128 tokens → le modèle génère des traductions 3× trop longues, ce qui pénalise fortement le score BLEU même si le début de la traduction est correct.

Tableau récapitulatif

Tous les meilleurs runs par variante, avec leur contexte. Utterance et sentence_like sont deux modes de segmentation de l’audio — leurs scores BLEU ne sont pas directement comparables.

Variante	Run	BLEU test	Seg.	Paramètres clés	Lien
3 · Gemini	`run_005`	41,1	utterance	Gemini 3.5 Flash · max 8192 tok · thinking minimal · garde-fous anti-boucles	→
	`run_004`	36,8	sentence_like	Gemini 3.5 Flash v2 · sentence_like	→
	`run_001`	33,7	utterance	Gemini 2.5 Flash · temp 0 · max 256 tok	→
4 · Cascade	`run_001`	37,4	utterance	Whisper large-v3 (ASR) → Marian opus-mt-fr-en (MT)	→
1 · Transformer	`run_026`	26,1	utterance	L-14k · SpecAugment v5 · vocab 1k · dépasse référence article L-14k (24,0)	→
	`run_033`	25,1	utterance	L-114k · SPM 5k — réplication Table 8 (article 25,2)	→
	`run_028`	23,5	utterance	L-114k · SpecAugment v5 vocab 1k — sous run_033	→
	`run_020`	21,2	utterance	L-14k · v3 · gel 5k puis dégel	→
	Article réf.	25,2	utterance	L-114k · fairseq · beam 5 · Table 8 Pantagruel (2026)
2 · speechLLM	`run_013`	15,2	utterance	L-114k gelé · Phi-2 · 48 tok	→
	`run_005`	19,0	sentence_like	B-1k dégelé · Phi-2 · meilleur global B1	→
5 · Speech_Text	`run_001`	7,9	sentence_like	Speech_Text B-1k · décodeur 6 couches · réglages non optimisés	→

Attention à la comparaison : les variantes 1, 2 et 5 entraînent un modèle sur m-TEDx. Les variantes 3 (Gemini) et 4 (Cascade) utilisent des modèles pré-entraînés sur bien plus de données — leurs scores élevés ne signifient pas qu’elles sont « meilleures » au sens de la contribution du projet, mais qu’elles partent d’un avantage fondamental.

3 Gemini — détail

Le meilleur score du projet (41,1 BLEU) est obtenu avec Gemini 3.5 Flash via l’API Google. Le paramètre clé : les garde-fous anti-boucles et un budget thinking minimal. Sans ces réglages, run_004 initial ne donnait que 20,3.

Page complète →

4 Cascade — détail

En chaînant Whisper large-v3 (transcription) puis Marian opus-mt-fr-en (traduction), on obtient 37,4 BLEU avec un seul run. Avantage : pas d’entraînement ; inconvénient : deux modèles distincts, erreurs ASR propagées.