L'heure du thé parle de 2020 : Sixième semaine

Maintenant que les 2020 Tea Time Talks sont sur Youtube, vous pouvez toujours avoir le temps de prendre le thé avec Amii et le laboratoire RLAI! Animées par le Dr Richard S. Sutton, conseiller scientifique en chef d'Amii, ces conférences de 20 minutes sur des sujets techniques sont données par des étudiants, des professeurs et des invités. Les conférences sont une manière détendue et informelle d'entendre les leaders de l'IA discuter des futures lignes de recherche qu'ils pourraient explorer, avec des sujets allant des idées qui commencent à prendre racine aux projets entièrement terminés.

La sixième semaine des discussions de l'heure du thé :

Parash Rahman : La descente de gradient stochastique dans un monde en mutation

Dans cet exposé, Parash a abordé le cadre de l'apprentissage en ligne où un prédicteur apprend à prédire à partir d'un flux de données - un problème important pour gérer les changements que l'on trouve dans les applications du monde réel. Il discute ensuite de la surprenante adaptabilité médiocre des réseaux multicouches mis à jour par descente de gradient stochastique lorsque la distribution des données change, alors qu'ils ont par ailleurs fait leurs preuves dans les applications modernes. Enfin, il examine l'utilisation d'algorithmes de génération et de test dans ce type de problème.

Yufeng Yuan : Espace d'observation multimodal pour l'apprentissage des robots

Dans cet exposé, Yufeng explique l'espace d'observation multimodal pour l'apprentissage des robots, et en quoi il est différent des autres espaces d'observation plus couramment utilisés, comme l'observation des pixels. Il présente ensuite des astuces utiles pour l'apprentissage complet à partir de pixels et étudie leur efficacité dans le cadre multimodal.

Han Wang : Représentations émergentes dans l'apprentissage par renforcement et leurs propriétés

L'apprentissage de la représentation reste l'un des principaux défis de l'apprentissage par renforcement. Les travaux antérieurs sur l'apprentissage des représentations se sont concentrés sur la conception d'architectures à base fixe pour obtenir des propriétés souhaitables. Cependant, des travaux récents suggèrent que les représentations émergent sous des schémas d'entraînement appropriés, et que les propriétés devraient donc être déterminées par le flux de données. Dans cet exposé, Han explore les propriétés des représentations entraînées de bout en bout avec différentes tâches auxiliaires, fournit de nouvelles idées concernant l'effet de la tâche auxiliaire, et étudie la relation entre les propriétés et la performance de l'apprentissage par transfert.

Martha Steenstrup : Le contrôle des réseaux de communication - Essayer de faire du RL par rapport à quoi ?

Pour concevoir des algorithmes efficaces permettant de contrôler la performance d'un réseau de communication, il faut relever plusieurs défis liés à la dynamique de l'environnement, à la fidélité des observations, à la réactivité, à l'attribution appropriée de crédits et aux compromis coûts-avantages. Dans cet exposé, Martha soutient que les algorithmes RL sont bien adaptés pour surmonter ces défis, avec des preuves à l'appui tirées de l'application de RL par son groupe au problème du contrôle de la congestion.

Les Tea Time Talks sont désormais terminés pour l'année, mais restez à l'écoute car nous mettrons en ligne les autres entretiens dans les semaines à venir. En attendant, vous pouvez revoir ou rattraper les conférences précédentes sur notre liste de lecture Youtube.