Un cadre conceptuel pour les agents influencés de l'extérieur : Un examen de l'apprentissage par renforcement assisté

Résumé

L'un des objectifs à long terme des agents d'apprentissage par renforcement est d'être capables d'effectuer des tâches dans des scénarios complexes du monde réel. L'utilisation d'informations externes est un moyen d'adapter les agents à des problèmes plus complexes. Cependant, il y a un manque général de collaboration ou d'interopérabilité entre les différentes approches utilisant des informations externes. Dans ce travail, nous proposons un cadre conceptuel et une taxonomie pour l'apprentissage par renforcement assisté, visant à favoriser une telle collaboration en classifiant et en comparant diverses méthodes qui utilisent des informations externes dans le processus d'apprentissage. La taxonomie proposée détaille la relation entre la source d'information externe et l'agent apprenant, en mettant en évidence le processus de décomposition, de structure et de rétention de l'information, et la manière dont il peut être utilisé pour influencer l'apprentissage de l'agent. En plus d'examiner les méthodes de pointe, nous identifions les courants actuels de l'apprentissage par renforcement qui utilisent des informations externes afin d'améliorer les performances de l'agent et son processus de prise de décision. Il s'agit, entre autres, de l'apprentissage par renforcement heuristique, de l'apprentissage par renforcement interactif, de l'apprentissage par démonstration, de l'apprentissage par transfert et de l'apprentissage à partir de sources multiples. Ces courants d'apprentissage par renforcement fonctionnent avec l'objectif commun d'étayer l'agent apprenant. Enfin, nous discutons des possibilités de travaux futurs dans le domaine des systèmes d'apprentissage par renforcement assisté.