⚙ Architecture
Deux modèles SOTA enchaînés : Whisper (large-v3) pour la reconnaissance vocale, Marian (opus-mt-fr-en) pour la traduction texte-texte. Inférence seule — aucun entraînement.
Étape 1 — ASR (Whisper large-v3) : l’audio français est transcrit en texte français. Whisper est un modèle de reconnaissance vocale multilingue d’OpenAI, entraîné sur 680k heures d’audio. Il produit du texte français écrit avec une bonne qualité, mais peut commettre des erreurs sur des mots rares ou des segments bruités.
Étape 2 — MT (Marian opus-mt-fr-en) : le texte français transcrit est traduit en anglais par un modèle de traduction automatique texte-texte de l’équipe Helsinki NLP. L’anglais produit dépend entièrement de la qualité de la transcription.
Propagation d’erreurs : c’est la faiblesse principale de la cascade. Une erreur de transcription en étape 1 se propage et peut dégrader significativement la traduction en étape 2. Avantage : la transcription française intermédiaire est lisible et facilite le débogage.
⚡ Hyperparamètres (choix de composants)
| Paramètre | Valeurs / options | Impact | État |
|---|---|---|---|
| Taille de Whisper | large-v3 (actuel) · medium · small |
Large-v3 = meilleure qualité ASR ; medium 10× plus rapide | large-v3 actuel |
| Modèle MT | opus-mt-fr-en (actuel) · NLLB · MADLAD-400 |
NLLB souvent meilleur que Marian mais plus lourd | à explorer |
| Mode de segmentation | utterance (run actuel) · sentence_like |
Bench sentence_like non encore complété | sentence_like manquant |
| Longueur de segment | Dépend du découpage m-TEDx | Whisper plus robuste sur des segments > 5 s | hérité du corpus |
| Langue source Whisper | fr (imposé) |
Forcer la langue source évite les erreurs de détection | ok |
📊 Résultats
| Run | ASR | MT | Segmentation | BLEU test | Durée GPU |
|---|---|---|---|---|---|
run_001 |
Whisper large-v3 | Marian opus-mt-fr-en | utterance | 37,4 | 3–5 h (inférence) |
| sentence_like | — | Non rapporté | |||
⚖ Avantages et inconvénients
| Détail | |
|---|---|
| Forces | Très bon BLEU utterance (37,4) ; transcription française lisible (interprétabilité) ; pas d’entraînement ; modèles ASR/MT SOTA disponibles librement |
| Faiblesses | Erreurs ASR propagées en cascade ; deux modèles = latence et VRAM cumulées ; hors du protocole Table 8 de l’article Pantagruel ; bench sentence_like incomplet |
| Coût | 3–5 h GPU pour l’inférence (Whisper large-v3 seul peut prendre 2–3 h sur le test set) |
| Usage typique | Baseline production classique ; comparer interprétabilité vs E2E ; diagnostiquer les erreurs de transcription |
🔧 Pistes d’amélioration
-
1
Compléter le bench en sentence_like — indispensable pour avoir un tableau complet sur les deux découpages et permettre des comparaisons avec les variantes 1 et 2.
-
2
Tester Whisper medium vs large-v3 — mesurer le compromis vitesse/qualité ASR et son impact sur le BLEU final. Whisper medium est 10× plus rapide.
-
3
Essayer NLLB (No Language Left Behind) à la place de Marian — modèle MT plus récent et souvent plus performant sur les paires fr-en.
-
4
Analyser les erreurs de transcription propagées : comparer la transcription Whisper avec les références françaises m-TEDx, puis quantifier leur impact sur le BLEU de traduction.
-
5
Mesurer le WER (Word Error Rate) de l’ASR indépendamment du BLEU ST — permet de dissocier la qualité de la reconnaissance vocale de celle de la traduction.