Les discussions de l'heure du thé 2021 : Troisième semaine

Les Tea Time Talks sont de retour ! Tout au long de l'été, assistez à des exposés de 20 minutes sur des idées de départ, des recherches futures et des sujets techniques présentés par des étudiants, des professeurs et des invités. Présentées par Amii et le laboratoire RLAI de l'Université de l'Alberta, les conférences sont une manière détendue et informelle d'entendre les leaders de l'IA discuter des futures lignes de recherche qu'ils pourraient explorer.

Regardez maintenant une sélection de conférences de la troisième semaine de la série :

Michael Przystupa : Analyse des méthodes jacobiennes neurales dans les applications d'asservissement visuel et de contrôle cinématique

Résumé : La conception de lois de commande adaptables qui peuvent être transférées entre différents robots est un défi en raison des différences cinématiques et dynamiques, ainsi que dans les scénarios où des capteurs externes sont utilisés. Dans cette présentation, Michael Przystupa explique le travail de son équipe qui étudie empiriquement la capacité d'un réseau neuronal à approximer la matrice jacobienne pour une application dans les schémas de contrôle cartésien. Plus précisément, ils s'intéressent à l'approximation du jacobien cinématique, qui découle des équations cinématiques reliant les angles des articulations d'un manipulateur à l'emplacement de l'effecteur final.

Alex Lewandowski : Démêler la généralisation dans l'apprentissage par renforcement à l'aide de processus de décision contextuels.

Résumé : La façon dont la généralisation est mesurée dans l'apprentissage par renforcement (RL) repose sur des concepts de l'apprentissage supervisé. Cependant, contrairement à un modèle d'apprentissage supervisé, un agent d'apprentissage par renforcement doit généraliser des états, des observations et des actions à partir d'une rétroaction limitée basée sur les récompenses. Dans cet exposé, Alex Lewandowski décrit comment son équipe a reformulé le problème de la généralisation de l'apprentissage par renforcement dans un environnement unique en considérant des processus de décision contextuels avec des observations provenant d'un ensemble de données d'apprentissage supervisé. Le résultat est un MDP qui, bien que simple, nécessite une approximation de fonction pour l'abstraction d'état tout en fournissant des étiquettes précises de vérité du terrain pour les politiques optimales et les fonctions de valeur. Les auteurs caractérisent ensuite la généralisation dans la RL sur différents axes : espace d'état, espace d'observation et espace d'action. En utilisant l'ensemble de données MNIST avec un processus de décision contextuel, ils évaluent rigoureusement la généralisation de DQN et QR-DQN dans l'espace d'observation et d'action avec un apprentissage en ligne et hors ligne.

Panel RLAI 2

Cette conférence présente un panel de chercheurs en apprentissage par renforcement (RL) - tous boursiers Amii, titulaires de chaires d'IA du CIFAR et professeurs de l'Université d'Alberta. Michael Bowling est le modérateur de ce panel composé de Rich Sutton, Martha White, Patrick Pilarski et Rupam Mahmood.

Vous aimez ce que vous apprenez ici ? Plongez plus profondément dans le monde de l'apprentissage par renforcement avec la spécialisation en apprentissage par renforcement, proposée par l'Université d'Alberta et Amii. Enseignée par Martha White et Adam White, cette spécialisation explore la façon dont les solutions d'apprentissage par renforcement aident à résoudre des problèmes du monde réel par le biais d'une interaction par essais et erreurs, en montrant aux apprenants comment mettre en œuvre une solution d'apprentissage par renforcement complète du début à la fin. Inscrivez-vous à cette spécialisation dès maintenant!