Série de séminaires AI 2023 : Shibhansh Dohare

Le AI Seminar est une réunion hebdomadaire à l'Université de l'Alberta où les chercheurs intéressés par l'intelligence artificielle (AI) peuvent partager leurs recherches. Les présentateurs comprennent à la fois des conférenciers locaux de l'Université de l'Alberta et des visiteurs d'autres institutions. Les sujets peuvent être liés de quelque manière que ce soit à l'intelligence artificielle, qu'il s'agisse de travaux théoriques fondamentaux ou d'applications novatrices de techniques d'IA à de nouveaux domaines et problèmes.

Le 20 janvier, Shibhansh Dohare, étudiant en doctorat à l'Université de l'Alberta, a présenté "Maintaining Plasticity in Deep Continual Learning", lors du séminaire sur l'intelligence artificielle.

Abstract: Modern deep-learning systems are specialized to problem settings in which training occurs once and then never again, as opposed to continual-learning settings in which training occurs continually. If deep-learning systems are applied in a continual learning setting, then it is well-known that they may fail catastrophically to remember earlier examples. More fundamental, but less well known, is that they may also lose their ability to adapt to new data, a phenomenon called \textit{loss of plasticity}.

Dans sa présentation, Dohare montre la perte de plasticité en utilisant les ensembles de données MNIST et ImageNet réorientés pour un apprentissage continu sous forme de séquences de tâches. Dans ImageNet, les performances de classification binaire sont passées de 89 % de bonnes réponses lors d'une première tâche à 77 %, soit environ le niveau d'un réseau linéaire, lors de la 2000e tâche. Cette perte de plasticité s'est produite avec un large éventail d'architectures de réseaux profonds, d'optimiseurs et de fonctions d'activation, et n'a pas été atténuée par la normalisation ou l'abandon des lots.

Dans les expériences, la perte de plasticité était corrélée à la prolifération d'unités mortes, d'unités avec des poids très importants, et plus généralement à une perte de diversité des unités. La perte de plasticité était considérablement atténuée par la régularisation L2, en particulier lorsqu'elle était combinée à la perturbation des poids (Shrink et Perturb). Il montre que la plasticité peut être entièrement maintenue par un nouvel algorithme - appelé \emph{continual backpropagation} - qui est juste comme la rétro-propagation conventionnelle, sauf qu'une petite fraction des unités moins utilisées est réinitialisée après chaque exemple. Cette injection continue de diversité semble maintenir indéfiniment la plasticité dans les réseaux profonds.

Regardez la présentation complète ci-dessous :

Vous voulez savoir comment donner un coup de fouet à votre carrière dans l'IA ? En savoir plus sur l'accélérateur de carrière d'Amii pour en savoir plus.