Une attention qui ne s'explique pas

Résumé

Les modèles basés sur l'architecture Transformer ont atteint une meilleure précision que ceux basés sur des architectures concurrentes pour un large ensemble de tâches. Une caractéristique unique du Transformer est l'application universelle d'un mécanisme d'auto-attention, qui permet la libre circulation de l'information à des distances arbitraires. En suivant une vision probabiliste de l'attention via le modèle de mélange gaussien, nous trouvons des preuves empiriques que l'attention du Transformer tend à "expliquer" certains neurones d'entrée. Pour compenser ce phénomène, nous proposons un schéma d'attention doublement normalisé qui est simple à mettre en œuvre et qui fournit des garanties théoriques pour éviter l'effet d'"explication" sans introduire de coût de calcul ou de mémoire significatif. Empiriquement, nous montrons que les nouveaux schémas d'attention permettent d'améliorer les performances sur plusieurs repères bien connus.