Série de séminaires sur l'IA 2022 : Yi Wan

Le AI Seminar est une réunion hebdomadaire à l'Université de l'Alberta où les chercheurs intéressés par l'intelligence artificielle (AI) peuvent partager leurs recherches. Les présentateurs comprennent à la fois des conférenciers locaux de l'Université de l'Alberta et des visiteurs d'autres institutions. Les sujets peuvent être liés de quelque manière que ce soit à l'intelligence artificielle, qu'il s'agisse de travaux théoriques fondamentaux ou d'applications novatrices de techniques d'IA à de nouveaux domaines et problèmes.

Le 23 février, Yi Wan, étudiant en master au département d'informatique de l'université d'Alberta, a présenté "Towards Adaptive Model-Based Reinforcement Learning" lors du séminaire sur l'IA.

Ces dernières années, un nombre croissant de méthodes d'apprentissage par renforcement basées sur des modèles profonds ont été introduites. L'intérêt pour les méthodes d'apprentissage par renforcement basées sur des modèles profonds n'est pas surprenant, étant donné leurs nombreux avantages potentiels, tels qu'une efficacité d'échantillonnage plus élevée et la possibilité d'une adaptation rapide aux changements de l'environnement. Cependant, Wan démontre, à l'aide d'une version améliorée de la configuration LoCA (Local Change Adaptation) récemment introduite, que les méthodes basées sur des modèles bien connus, telles que PlaNet et DreamerV2, sont peu performantes dans leur capacité à s'adapter aux changements locaux de l'environnement. Si l'on ajoute à cela les travaux antérieurs qui ont fait une observation similaire sur l'autre méthode populaire basée sur un modèle, MuZero, une tendance semble se dessiner, suggérant que les méthodes actuelles basées sur des modèles profonds ont de sérieuses limites. Wan plonge plus profondément dans les causes de cette mauvaise performance, en identifiant les éléments qui nuisent au comportement adaptatif et en les reliant aux techniques sous-jacentes fréquemment utilisées dans le RL à base de modèles profonds. Il valide empiriquement ces idées dans le cas de l'approximation des fonctions linéaires en démontrant qu'une version modifiée de Dyna linéaire permet une adaptation efficace aux changements locaux. En outre, Wan donne un aperçu détaillé des défis que pose la construction d'une méthode adaptative non linéaire basée sur un modèle, en expérimentant une version non linéaire de Dyna.

Regardez la présentation complète ci-dessous :

Tenez-vous au courant de la série de séminaires sur l'IA en vous inscrivant à la liste de diffusion.

Découvrez comment Amii fait progresser la recherche de pointe en matière d'intelligence artificielle et d'apprentissage automatique : visitez notre site Web. Recherche page.