6 · Open baselines ST — Pantagruel S3T

Open baselines ST

Modèles pré-entraînés open weights évalués en zero-shot sur m-TEDx — même protocole SacreBLEU que Gemini, sans API ni entraînement local. Alternative reproductible pour la recherche académique.

« Comparer Gemini à des systèmes ouverts que n’importe qui peut relancer sur les mêmes manifests, avec la même signature BLEU. »

⚙ Architecture

Trois backends ST directs (audio → texte EN) ou quasi-directs, sélectionnés par model.type dans le YAML. Inférence seule — pas d’entraînement sur m-TEDx.

Positionnement : la variante 3 (Gemini) donne le meilleur BLEU (~41) mais repose sur une API fermée et non reproductible. La variante 4 (cascade Whisper→Marian, ~37) est ouverte mais en deux étapes. La variante 6 teste des systèmes speech-to-text récents, directement comparables à Gemini sur la tâche audio→anglais.

Protocole : mêmes manifests valid.tsv / test.tsv (utterance), mêmes artefacts eval/sacrebleu_*.txt et protocol.json que les variantes 3–4.

⚡ Modèles testés

Backend	Modèle	Rôle	Run OVH	État
`whisper_st`	`openai/whisper-large-v3`	ST via `task=translate` — filet de sécurité (transformers seul)	`run_072`	en cours
`seamless_m4t_v2`	`facebook/seamless-m4t-v2-large`	Candidat #1 — ST multilingue Meta, le plus proche de Gemini	`run_073`	file d’attente
`canary_1b`	`nvidia/canary-1b-v2`	Alternative NVIDIA compacte (NeMo)	`run_074`	file d’attente

Juillet 2026 : la chaîne run_072→073→074 tourne sur OVH après run_064. Les scores BLEU seront ajoutés dès réception des artefacts sacrebleu_test.txt.

⚖ Avantages et inconvénients

	Détail
Forces	Reproductible (poids ouverts, pas d’API) ; même protocole que Gemini ; plusieurs candidats pour maximiser les chances ; documentable pour un rapport académique
Faiblesses	Scores encore inconnus ; Canary nécessite NeMo (dépendance lourde) ; inférence segment par segment (lente) ; zero-shot sans adaptation m-TEDx
Références	Gemini ~41 BLEU (variante 3) · Cascade ~37 (variante 4) · objectif : se rapprocher de ces plafonds en restant ouvert

🔧 Pistes d’amélioration

Consolider SeamlessM4T v2 — si run_073 est stable, tester aussi la version medium si VRAM limitée.

Bench sentence_like — étendre l’évaluation au second découpage pour alignement avec les variantes 1–2.

Granite Speech / Ollama — candidats backlog (piste K) si les trois modèles initiaux ne suffisent pas.

⚙ Architecture

⚡ Modèles testés

⚖ Avantages et inconvénients

🔧 Pistes d’amélioration

🔗 Liens