Série de séminaires AI 2023 : Qingfeng Lan

Le AI Seminar est une réunion hebdomadaire à l'Université de l'Alberta où les chercheurs intéressés par l'intelligence artificielle (AI) peuvent partager leurs recherches. Les présentateurs comprennent à la fois des conférenciers locaux de l'Université de l'Alberta et des visiteurs d'autres institutions. Les sujets peuvent être liés de quelque manière que ce soit à l'intelligence artificielle, qu'il s'agisse de travaux théoriques fondamentaux ou d'applications novatrices de techniques d'IA à de nouveaux domaines et problèmes.

Le 24 mars, Qingfeng Lan, doctorant à l'université d'Alberta, a présenté "Memory-efficient Reinforcement Learning with Knowledge Consolidation" lors du séminaire sur l'IA.

Les réseaux neuronaux artificiels sont prometteurs pour l'approximation de fonctions générales, mais il est difficile de les former sur des données non indépendantes ou distribuées de manière non identique en raison de l'oubli catastrophique. Le tampon de relecture d'expérience, un composant standard de l'apprentissage par renforcement profond, est souvent utilisé pour réduire l'oubli et améliorer l'efficacité de l'échantillonnage en stockant les expériences dans un grand tampon et en les utilisant ultérieurement pour la formation.

Cependant, un grand tampon de relecture entraîne une lourde charge de mémoire, en particulier pour les dispositifs embarqués et périphériques dont les capacités de mémoire sont limitées. Lan propose des algorithmes d'apprentissage par renforcement efficaces en termes de mémoire, basés sur l'algorithme du réseau Q profond, afin d'atténuer ce problème. Les algorithmes réduisent les oublis et maintiennent une efficacité d'échantillonnage élevée en consolidant les connaissances du Q-network cible au Q-network actuel.

Par rapport aux méthodes de base, ces algorithmes atteignent des performances comparables ou supérieures dans les tâches basées sur les caractéristiques et sur les images, tout en allégeant le fardeau des tampons de relecture de l'expérience.

Regardez la présentation complète ci-dessous :

Vous voulez savoir comment donner un coup de fouet à votre carrière dans l'IA ? En savoir plus sur l'accélérateur de carrière d'Amii pour en savoir plus.