Capacité d'information sur les politiques : Mesure théorique de l'information pour la complexité des tâches dans l'apprentissage profond par renforcement.

Résumé :

Les progrès de la recherche sur l'apprentissage par renforcement (RL) profond sont largement favorisés par les environnements de tâches de référence. Cependant, l'analyse de la nature de ces environnements est souvent négligée. En particulier, nous ne disposons toujours pas de moyens acceptables pour mesurer la difficulté ou la solvabilité d'une tâche, étant donné que chacune d'entre elles comporte des actions, des observations, des dynamiques et des récompenses fondamentalement différentes et peut être abordée avec divers algorithmes d'apprentissage par renforcement. Dans ce travail, nous proposons la capacité d'information de la politique (PIC) - l'information mutuelle entre les paramètres de la politique et le retour épisodique - et la capacité d'information de la politique-optimale (POIC) - entre les paramètres de la politique et l'optimalité épisodique - comme deux mesures quantitatives de la difficulté de la tâche, indépendantes de l'environnement et de l'algorithme. En évaluant nos métriques sur des environnements jouets ainsi que sur des tâches de référence de contrôle continu provenant d'OpenAI Gym et de DeepMind Control Suite, nous démontrons empiriquement que ces métriques théoriques de l'information ont des corrélations plus élevées avec les scores normalisés de solvabilité des tâches qu'une variété d'alternatives. Enfin, nous montrons que ces métriques peuvent également être utilisées pour des optimisations rapides et efficaces des paramètres de conception clés tels que la mise en forme des récompenses, les architectures de politique et les propriétés des MDP pour une meilleure solvabilité par les algorithmes RL sans jamais effectuer des expériences RL complètes.