Apprentissage prédictif de la représentation pour la modélisation du langage

Résumé :

Pour effectuer efficacement la tâche de prédiction du mot suivant, les réseaux de mémoire à long terme (LSTM) doivent garder la trace de nombreux types d'informations. Certaines informations sont directement liées à l'identité du mot suivant, mais d'autres sont plus secondaires (par exemple, les caractéristiques du discours ou les caractéristiques des mots en aval). Les corrélats d'informations secondaires apparaissent dans les représentations LSTM même s'ils ne font pas partie d'une tâche de prédiction supervisée. En revanche, dans l'apprentissage par renforcement (RL), les techniques qui supervisent explicitement les représentations pour prédire les informations secondaires se sont avérées bénéfiques. Inspirés par ce succès, nous proposons l'apprentissage par représentation prédictive (PRL), qui contraint explicitement les LSTM à encoder des prédictions spécifiques, comme celles qui pourraient être apprises implicitement. Nous montrons que le PRL 1) améliore de manière significative deux méthodes de modélisation du langage, 2) converge plus rapidement et 3) est plus performant lorsque les données sont limitées. Notre travail montre que l'encodage explicite d'une tâche prédictive simple facilite la recherche d'un modèle de langage plus efficace.