Résumé

Réseaux de neurones artificiels, méthodes d'apprentissage profond et algorithme de rétropropagation¹ constituent la base de l'apprentissage automatique et de l'intelligence artificielle modernes. Ces méthodes sont presque toujours utilisées en deux phases, l'une au cours de laquelle les poids du réseau sont mis à jour et l'autre au cours de laquelle les poids sont maintenus constants pendant que le réseau est utilisé ou évalué. Cela contraste avec l'apprentissage naturel et de nombreuses applications, qui nécessitent un apprentissage continu. La question de savoir si les méthodes d'apprentissage profond fonctionnent ou non dans des contextes d'apprentissage continu n'a pas été clairement tranchée. Nous montrons ici que ce n'est pas le cas, que les méthodes d'apprentissage profond standard perdent progressivement leur plasticité dans des contextes d'apprentissage continu jusqu'à ce qu'elles n'apprennent pas mieux qu'un réseau peu profond. Nous démontrons cette perte de plasticité en utilisant l'ensemble de données classique ImageNet et des problèmes d'apprentissage par renforcement dans un large éventail de variations du réseau et de l'algorithme d'apprentissage. La plasticité n'est maintenue indéfiniment que par des algorithmes qui injectent continuellement de la diversité dans le réseau, comme notre algorithme de rétropropagation continue, une variante de la rétropagation dans laquelle une petite fraction d'unités moins utilisées est continuellement et aléatoirement réinitialisée. Nos résultats indiquent que les méthodes basées sur la descente de gradient ne sont pas suffisantes et que l'apprentissage profond durable nécessite une composante aléatoire, non gradient, pour maintenir la variabilité et la plasticité.