Campus de l'Université de l'Alberta (CSC-333)
Présentateur : Ehsan Imani, Université d'Alberta
Titre: Alignement des représentations dans les réseaux neuronaux
Résumé : Il est désormais courant que les représentations des réseaux neuronaux soient formées sur de grands ensembles de données accessibles au public et utilisées pour de nouveaux problèmes. Cependant, les raisons pour lesquelles les représentations de réseaux de neurones ont connu un tel succès pour le transfert ne sont pas encore totalement comprises. Nous montrons qu'après la formation, les représentations des réseaux de neurones alignent leurs vecteurs singuliers supérieurs sur les cibles. Nous étudions ce phénomène d'alignement des représentations dans une variété d'architectures de réseaux neuronaux et constatons que (a) l'alignement émerge à travers une variété d'architectures et d'optimiseurs différents, avec plus d'alignement découlant de la profondeur (b) l'alignement augmente pour les couches plus proches de la sortie et (c) les CNN profonds haute performance existants présentent des niveaux élevés d'alignement. Nous soulignons ensuite pourquoi l'alignement entre les vecteurs singuliers supérieurs et les cibles peut accélérer l'apprentissage et nous montrons, dans un problème de transfert synthétique classique, que l'alignement des représentations est en corrélation avec un transfert positif et négatif vers des tâches similaires et différentes.
Biographie du présentateur : Ehsan Imani est un étudiant en doctorat à l'Université de l'Alberta. Il a obtenu un diplôme de maîtrise en informatique de l'Université de l'Alberta en 2019. Par la suite, il a travaillé en tant qu'assistant de recherche à l'Université de l'Alberta, puis au Huawei Noah's Ark Lab. Ses intérêts de recherche sont l'apprentissage par représentation et l'apprentissage par renforcement.
Le séminaire sur l'intelligence artificielle (IA) de l'Université de l'Alberta est une réunion hebdomadaire où les chercheurs (y compris les étudiants, les développeurs et les professeurs) intéressés par l'IA peuvent partager leurs recherches actuelles. Les présentateurs comprennent des conférenciers locaux de l'Université de l'Alberta et de l'industrie ainsi que d'autres institutions. Les séminaires abordent un large éventail de sujets liés de près ou de loin à l'intelligence artificielle, depuis les travaux théoriques fondamentaux jusqu'aux applications innovantes des techniques d'IA à de nouveaux domaines et problèmes d'intérêt. Pour en savoir plus, consultez le site Web du séminaire sur l'IA et inscrivez-vous à la liste de diffusion!
Une conférence sur l'IA pas comme les autres !
Une conférence sur l'IA pas comme les autres !
Une conférence sur l'IA pas comme les autres !
Vous cherchez à renforcer les capacités en matière d'IA ? Vous avez besoin d'un conférencier pour votre événement ?
Participez à l'écosystème croissant de l'IA en Alberta ! Les demandes de conférenciers, de parrainage et de lettres de soutien sont les bienvenues.