Banques de mémoire progressives pour l'adaptation incrémentale du domaine

Cet article aborde le problème de l'adaptation incrémentale des domaines (IDA) dans le traitement du langage naturel (NLP). Nous supposons que chaque domaine se présente l'un après l'autre, et que nous ne pouvons accéder qu'aux données du domaine actuel. Le but de l'IDA est de construire un modèle unifié performant sur tous les domaines que nous avons rencontrés. Nous adoptons le réseau neuronal récurrent (RNN) largement utilisé dans le domaine du langage naturel, mais nous l'augmentons avec une banque de mémoire directement paramétrée, qui est récupérée par un mécanisme d'attention à chaque étape de la transition RNN. La banque de mémoire fournit une méthode naturelle d'IDA : lorsque nous adaptons notre modèle à un nouveau domaine, nous ajoutons progressivement de nouveaux emplacements à la banque de mémoire, ce qui augmente le nombre de paramètres, et donc la capacité du modèle. Nous apprenons les nouveaux emplacements de mémoire et affinons les paramètres existants par rétropropagation. Les résultats expérimentaux montrent que notre approche permet d'obtenir de bien meilleures performances que le réglage fin seul. Par rapport à l'expansion des états cachés, notre approche est plus robuste pour les anciens domaines, comme le montrent les résultats empiriques et théoriques. Notre modèle surpasse également les travaux antérieurs de l'IDA, notamment la consolidation par poids élastique et les réseaux neuronaux progressifs dans les expériences.

Remerciements

Ce travail a été financé par Huawei Technologies, Hong Kong. Lili Mou est soutenue par le programme Amii Fellow et le programme CIFAR AI Chair.