⚙ Architecture
Structure identique à la variante 1, seul l’encodeur change. Le décodeur Transformer (6 couches) et SentencePiece restent les mêmes.
Encodeur Speech_Text : variante de l’encodeur Pantagruel pré-entraînée simultanément sur de la parole française et du texte français. L’hypothèse est que ces représentations bimodales (parole + texte) pourraient mieux capturer le contenu linguistique et ainsi améliorer la traduction de la parole.
Décodeur et SPM : strictement identiques à la variante 1 — Transformer 6 couches avec SentencePiece 1 000 unités. Cela permet d’isoler l’effet de l’encodeur : toute différence de performance par rapport à la variante 1 est attribuable à l’encodeur multimodal.
État expérimental : un seul run disponible (run_001, sentence_like, 8 BLEU). Ce score est nettement inférieur à la variante 1 (15 BLEU sur le même découpage), mais les hyperparamètres n’ont pas été optimisés pour cette variante. Il serait prématuré de conclure sur la valeur de l’encodeur multimodal sans avoir d’abord aligné les réglages.
🔀 Variante 5 vs Variante 1
L’unique différence est l’encodeur. Tout le reste est identique — ce qui en fait une ablation propre sur l’effet du pré-entraînement bimodal.
Variante 1 — Encodeur parole seule
Pantagruel B-1k/L-14k/L-114k pré-entraîné uniquement sur de la parole française (JEPA/data2vec 2.0). BLEU sentence_like B-1k : 15.
Variante 5 — Encodeur parole + texte
Speech_Text B-1k pré-entraîné sur parole et texte français. BLEU sentence_like B-1k : 8 (réglages non optimisés — 1 seul run).
⚡ Hyperparamètres
Mêmes paramètres que la variante 1, avec en plus le choix du checkpoint Speech_Text.
| Paramètre | Valeurs / options | Impact | État |
|---|---|---|---|
| Checkpoint Speech_Text | B-1k (actuel) · autres tailles si disponibles | À explorer si d’autres checkpoints Speech_Text existent | B-1k seulement |
| Mode de segmentation | utterance (manquant !) / sentence_like |
Run utterance nécessaire pour comparer au protocole article | sentence_like seulement |
| Gel de l’encodeur | freeze_encoder_updates: 5000 |
Même impact qu’en V1 — à aligner avant de conclure | non vérifié run_001 |
| Taux d’apprentissage | 1e-4 |
Doit être aligné sur V1 pour une comparaison propre | à vérifier |
| Décodage | greedy (actuel) |
Même que V1 ; beam search à implémenter ensuite | greedy |
📊 Résultats
| Run | Encodeur | Segmentation | BLEU test | Durée GPU | Notes |
|---|---|---|---|---|---|
run_001 |
Speech_Text B-1k | sentence_like | 7,9 | 8 h | Seul run disponible ; réglages non optimisés |
| utterance | — | — | Non lancé | ||
🔧 Pistes d’amélioration
-
1
Aligner les hyperparamètres sur la variante 1 : gel 5k updates, LR 1e-4, même durée d’entraînement — avant de comparer les deux encodeurs. L’écart actuel peut être dû aux réglages, pas à l’encodeur.
-
2
Lancer un run en utterance — indispensable pour comparer au protocole article et à la variante 1 sur le même découpage.
-
3
Tester un checkpoint Speech_Text plus récent ou plus grand si disponible dans la famille Pantagruel — le checkpoints B-1k actuel est peut-être sous-optimal.
-
4
Trancher sur la priorité de cette variante : si après les runs alignés le score reste sous V1, concentrer l’effort sur les variantes 1 et 2 ; sinon creuser l’hypothèse multimodale.
-
5
Analyser les représentations latentes : comparer les vecteurs produits par l’encodeur Speech_Text et par l’encodeur parole seule (V1) — visualisation t-SNE ou similarité cosine — pour comprendre en quoi ils diffèrent.