Les discussions de l'heure du thé 2020 : Première semaine

Maintenant que les 2020 Tea Time Talks sont sur Youtube, vous pouvez toujours avoir le temps de prendre le thé avec Amii et le laboratoire RLAI! Animées par le Dr Richard S. Sutton, conseiller scientifique en chef d'Amii, ces conférences de 20 minutes sur des sujets techniques sont données par des étudiants, des professeurs et des invités. Les conférences sont une manière détendue et informelle d'entendre les leaders de l'IA discuter des futures lignes de recherche qu'ils pourraient explorer, avec des sujets allant des idées qui commencent à prendre racine aux projets entièrement terminés.

La première semaine des discussions de l'heure du thé met en vedette quelques gros bonnets :

Rich Sutton : Êtes-vous prêt à embrasser pleinement l'approximation ?

L'approximation qui s'adapte aux ressources informatiques est le moteur de l'apprentissage automatique moderne. Le rythme régulier de la loi de Moore permet des succès (par exemple, l'apprentissage profond et AlphaGo) qui dépendent de l'approximation évolutive et continuera à le faire dans un avenir prévisible. Sommes-nous prêts à faire partie de cet avenir ? Adopter pleinement l'approximation impose une discipline difficile dans laquelle nous devons nous passer d'une grande partie de ce que l'apprentissage par renforcement considère comme acquis, notamment les politiques optimales, l'objectif de contrôle actualisé, l'état de Markov, etc. 

Csaba Szepesvári : Embracing Approximation in RL (en anglais)

Les approximations sont au cœur de tout ce que nous faisons en RL et jouent également un rôle majeur en informatique. Dans cette présentation, Csaba discute des résultats déjà disponibles, ainsi que de la manière de poursuivre des objectifs de recherche significatifs dans le domaine du langage des signes distinctifs lorsque vous n'avez pas d'autre choix que d'adopter pleinement les approximations.

Patrick Pilarski : A l'heure

Le temps est fondamental pour l'apprentissage par renforcement. Jusqu'à présent, la littérature a décrit de nombreuses façons dont les animaux et les machines utilisent des aspects de l'écoulement du temps et des modèles temporels pour faire des prédictions, prendre des décisions, traiter les expériences passées et planifier l'avenir. Dans cet exposé, Patrick commence par une étude de la manière dont les agents perçoivent et représentent le temps, telle qu'elle ressort de la littérature sur l'apprentissage animal et les neurosciences, et suggère ce qu'il pense être un ensemble souhaitable de capacités liées au temps que les agents machines devraient acquérir, démontrer et maîtriser au fur et à mesure de leur interaction avec l'environnement qui les entoure.

Martha White : Méthodes de gradient de politique comme itération approximative de politique

Bien que le point de vue selon lequel de nombreuses méthodes de gradient de politique peuvent être considérées comme une itération de politique approximative (API) ne soit pas nouveau, de nouvelles questions se posent dans le cadre de l'approximation de fonction lors de l'utilisation de politiques paramétrées. Martha explique l'interprétation des méthodes de gradient de politique comme API, où la mise à jour de la politique correspond à une étape de greedification approximative. Cette mise à jour de politique peut être généralisée en considérant d'autres choix pour la greedification. Martha fournira également des indications empiriques et théoriques sur les bons choix pour cette greedification approximative. 

Regardez les Tea Time Talks en direct en ligne cette année, du lundi au jeudi de 16 h 15 à 16 h 45 MT. Chaque entretien se déroulera ici (Veuillez noter que si vous accédez au chat à partir d'une adresse électronique hors du domaine de ualberta.ca, il se peut que vous deviez attendre quelques secondes pour que quelqu'un de la réunion vous laisse entrer). Vous pouvez consulter le programme complet pour trouver les conférences qui vous intéressent, vous inscrire à la liste de diffusion du RLAI ou revoir les conférences précédentes sur la liste de lecture Youtube.