Traduction non autorégressive avec prédiction par couche et supervision profonde

Résumé : Comment réaliser une inférence efficace tout en conservant une qualité de traduction élevée ? Les modèles neuronaux de traduction automatique existants, tels que Transformer, atteignent des performances élevées, mais ils décodent les mots un par un, ce qui est inefficace. Les récents modèles de traduction non autorégressifs accélèrent l'inférence, mais leur qualité reste inférieure. Dans ce travail, nous proposons DSLP, un modèle de traduction automatique très efficace et très performant. L'idée principale est d'entraîner un transformateur non autorégressif avec une supervision profonde et d'alimenter des prédictions supplémentaires en couches. Nous avons mené des expériences approfondies sur quatre tâches de traduction (les deux directions de WMT'14 EN-DE et WMT'16 EN-RO). Les résultats montrent que notre approche améliore systématiquement les scores BLEU par rapport aux modèles de base respectifs. Plus précisément, notre meilleure variante surpasse le modèle autorégressif sur trois tâches de traduction, tout en étant 14,8 fois plus efficace dans l'inférence.