Travaux en cours : Tâches auxiliaires étendues dans le temps

Résumé

Il a été démontré que les tâches auxiliaires prédictives améliorent les performances dans de nombreux travaux sur l'apprentissage par renforcement, mais cet effet n'est pas encore bien compris. L'objectif principal du travail présenté ici est d'étudier l'impact de l'échelle de temps de prédiction d'une tâche auxiliaire sur la performance de la politique de l'agent. Nous considérons des tâches auxiliaires qui apprennent à faire des prédictions sur la politique en utilisant l'apprentissage par différence temporelle. Nous testons l'impact de l'échelle de temps de prédiction en utilisant une forme spécifique de tâche auxiliaire dans laquelle l'image d'entrée est utilisée comme cible de prédiction, que nous appelons autoencodeurs par différence temporelle (TD-AE). Nous évaluons empiriquement l'effet de TD-AE sur l'algorithme A2C dans l'environnement VizDoom en utilisant différentes échelles de temps de prédiction. Bien que nous n'observions pas de relation claire entre l'échelle de temps de prédiction et la performance, nous faisons les observations suivantes : 1) l'utilisation de tâches auxiliaires nous permet de réduire la longueur de la trajectoire de l'algorithme A2C, 2) dans certains cas, le TD-AE étendu temporellement donne de meilleurs résultats qu'un autoencodeur direct, 3) les performances avec les tâches auxiliaires sont sensibles au poids placé sur la perte auxiliaire, 4) malgré cette sensibilité, les tâches auxiliaires améliorent les performances sans réglage hyperparamétrique important. Nos conclusions générales sont que TD-AE augmente la robustesse de l'algorithme A2C à la longueur de la trajectoire et bien que prometteur, une étude plus approfondie est nécessaire pour comprendre pleinement la relation entre l'échelle de temps de prédiction des tâches auxiliaires et la performance de l'agent.