Les discussions de l'heure du thé 2020 : Septième semaine

Maintenant que les 2020 Tea Time Talks sont sur Youtube, vous pouvez toujours avoir le temps de prendre le thé avec Amii et le laboratoire RLAI! Animées par le Dr Richard S. Sutton, conseiller scientifique en chef d'Amii, ces conférences de 20 minutes sur des sujets techniques sont données par des étudiants, des professeurs et des invités. Les conférences sont une manière détendue et informelle d'entendre les leaders de l'IA discuter des futures lignes de recherche qu'ils pourraient explorer, avec des sujets allant des idées qui commencent à prendre racine aux projets entièrement terminés.

La septième semaine des discussions de l'heure du thé :

Matthew Schlegel : Un premier regard sur le codage prédictif hiérarchique

Les prédictions, en particulier celles des fonctions de valeur générales (GVF), ont donné lieu à de nombreux axes de recherche et de réflexion au laboratoire RLAI. Bien que de nombreux nouveaux algorithmes d'apprentissage des fonctions de valeur générale aient vu le jour ces dernières années, leur utilisation soulève encore de nombreuses questions. Dans cet exposé, Matthew présente les concepts fondamentaux du codage prédictif hiérarchique (Rao, 1999), un schéma qui utilise les prédictions pour inhiber les signaux de feed-forward par le biais d'une rétroaction corrective. Il discute également d'une instanciation du modèle de codage prédictif hiérarchique à l'aide de techniques d'apprentissage profond.

Alex Lewandowski : Abstraction temporelle via des réseaux neuronaux récurrents

Les environnements sont préconfigurés avec des hyperparamètres, tels que les taux de discrétisation et les sauts d'images, qui déterminent la fenêtre d'abstraction temporelle d'un agent. À son tour, cette fenêtre temporelle influence l'ampleur de l'écart d'action et a un impact considérable sur l'apprentissage. Alex présente les travaux en cours qui utilisent un réseau neuronal récurrent pour apprendre de manière flexible des séquences d'action dans une fenêtre temporelle.

Shibhansh Dohare : L'interaction de la recherche et de la descente de gradient dans les problèmes d'apprentissage semi-stationnaires.

Dans cet exposé, Shibhansh explore l'interaction entre les techniques de génération et de test et de descente de gradient pour résoudre les problèmes d'apprentissage supervisé. Il commence par présenter un nouveau cadre idéalisé dans lequel la fonction cible est stationnaire mais beaucoup plus complexe que l'apprenant, et dans lequel la distribution des entrées varie lentement. Ensuite, il montre que si la fonction cible est plus complexe que l'approximateur, le suivi est meilleur que tout ensemble fixe de poids. Enfin, il explique que la rétropropagation conventionnelle est peu performante dans ce contexte, mais que ses performances peuvent être améliorées si nous utilisons la recherche aléatoire pour remplacer les caractéristiques de faible utilité.

Dhawal Gupta : Optimisations pour TD

Dans son exposé, M. Dhawal explore la possibilité d'utiliser les techniques de pas adaptatifs de la communauté de l'apprentissage profond pour l'utilisation de l'apprentissage par différence temporelle (TD). Les méthodes de pas adaptatifs offrent-elles un répit dans les problèmes de divergence de l'apprentissage par différence temporelle, principalement en raison de l'inadéquation entre le comportement et la politique cible ? Cela mérite-t-il même d'être étudié, ou faut-il développer des techniques de pas complètement distinctes pour l'apprentissage par différence temporelle ?

Les Tea Time Talks sont désormais terminés pour l'année, mais restez à l'écoute car nous mettrons en ligne les autres conférences dans les semaines à venir. En attendant, vous pouvez revoir ou rattraper les conférences précédentes sur notre liste de lecture Youtube.