Les discussions de l'heure du thé 2020 : Douzième semaine

Maintenant que les 2020 Tea Time Talks sont sur Youtube, vous pouvez toujours avoir le temps de prendre le thé avec Amii et le laboratoire RLAI! Animées par le Dr Richard S. Sutton, conseiller scientifique en chef d'Amii, ces conférences de 20 minutes sur des sujets techniques sont données par des étudiants, des professeurs et des invités. Les conférences sont une manière détendue et informelle d'entendre les leaders de l'IA discuter des futures lignes de recherche qu'ils pourraient explorer, avec des sujets allant des idées qui commencent à prendre racine aux projets entièrement terminés.

La douzième semaine des discussions de l'heure du thé :

Matthew McLeod : Agent GVF à motivation intrinsèque

La motivation intrinsèque et les fonctions de valeur générales (FVG) sont deux domaines passionnants dans le domaine de l'apprentissage par renforcement. Dans cet exposé, Matthew discute de l'intersection de ces deux sous-domaines et des raisons pour lesquelles ils peuvent être complémentaires l'un de l'autre. Il analyse ce problème avec un processus de décision de Markov (MDP) tabulaire et discute des premiers résultats intéressants.

Shiva Soleimany : Améliorer les transferts sim-to-réel en utilisant la créativité computationnelle

Dans cet exposé, Shiva parle de l'apprentissage par renforcement pour la robotique et de la manière dont nous pouvons améliorer la formation. Elle propose une méthode pour réduire l'écart avec la réalité dans un environnement simulé à l'aide d'un agent contradictoire qui génère de nouveaux environnements créatifs.

Katya Kudashkina : Apprentissage par renforcement basé sur un modèle avec des modèles d'espérance à une étape

Un modèle d'espérance à une étape de la dynamique de l'environnement produit une estimation de l'état suivant attendu. C'est moins général que d'estimer la distribution complète des états suivants possibles (ou un échantillon aléatoire de celle-ci) et plus général que de modéliser le monde comme déterministe. Les modèles d'espérance sont limités dans les types d'opérations de planification et d'approximations de fonctions de valeur qu'ils peuvent utiliser, mais ils sont bien adaptés à l'apprentissage. Dans cet exposé, Katya discute de ce que l'on sait des modèles d'attentes dans le contexte de l'apprentissage par renforcement basé sur des modèles et des états non markoviens. Elle montre que la planification à l'aide de modèles d'attente ne peut se faire qu'avec des valeurs d'état et non des valeurs d'action.

Les discussions de l'heure du thé sont maintenant terminées pour l'année ! Vous pouvez revoir ou rattraper les discussions précédentes sur notre liste de lecture Youtube.