En ligne et sur le campus de l'Université de l'Alberta (CSC B-10)
Présentateur : J. Fernando Hernandez Garcia, doctorant, Université de l'Alberta ; supervisé par le Dr Rich Sutton
Titre: Maintien de la plasticité indépendamment de l'architecture par réinitialisation sélective
Résumé : Le problème de la perte de plasticité dans les réseaux neuronaux, où un réseau perd sa capacité à apprendre à partir de nouvelles observations lorsqu'il est formé pendant une longue période, est une limitation majeure à la mise en œuvre de systèmes d'apprentissage profond qui apprennent continuellement. Une idée éprouvée pour maintenir la plasticité consiste à réinitialiser sporadiquement les caractéristiques à faible utilité dans le réseau, un algorithme connu sous le nom de rétropropagation continue. Cependant, la mesure de l'utilité des caractéristiques dépend du modèle de connectivité de la caractéristique, ce qui rend difficile la combinaison de la rétropropagation continue avec n'importe quel réseau arbitraire. Cet inconvénient disparaît si l'on travaille au niveau le plus bas d'un réseau : les poids. Dans cet exposé, je présente les succès et les échecs de la rétropropagation continue dans le maintien de la plasticité dans différentes architectures. Ensuite, je présente un nouvel algorithme, la réinitialisation sélective des poids, qui réussit à maintenir la plasticité en réinitialisant les poids au lieu des caractéristiques.
Biographie : J. Fernando Hernandez-Garcia est doctorant au laboratoire RLAI de l'université d'Alberta, sous la direction de Richard Sutton. Son objectif est de concevoir des systèmes intelligents qui apprennent en permanence tout en interagissant avec le monde.
À propos du séminaire sur l'IA
Organisé par Amii, AI Seminar est une réunion hebdomadaire au cours de laquelle des étudiants, des développeurs et des professeurs dans le domaine de l'intelligence artificielle partagent leurs recherches actuelles. Les présentateurs sont issus de l'Université de l'Alberta, de l'industrie locale et d'autres institutions du Canada et de l'étranger. Une fois par mois, Technology Alberta participe en tant que co-organisateur et présente de nouvelles entreprises technologiques albertaines très prometteuses.
Pour en savoir plus et voir tous les séminaires à venir, consultez le site web AI Seminar.
Dans le cadre de la conférence AI for Information Accessibility (AI4IA) et animée par Geoffrey Rockwell, membre de l'Amii, la table ronde du Canada explore le thème de l'IA responsable.
Vous cherchez à renforcer les capacités en matière d'IA ? Vous avez besoin d'un conférencier pour votre événement ?
Participez à l'écosystème croissant de l'IA en Alberta ! Les demandes de conférenciers, de parrainage et de lettres de soutien sont les bienvenues.