Un nouvel article rédigé par des chercheurs de l'Amii met en lumière le potentiel des options dans l'apprentissage par renforcement. Cette méthode laisse entrevoir la possibilité de créer des agents plus performants dans la prise de décision à long terme et capables de gérer efficacement des tâches plus complexes sans nécessiter d'intervention humaine constante.

L'article intitulé « Maîtriser les jeux Atari 2600 grâce à des options découvertes », a été coécrit par Erik M. Lintunen, recruté dans le cadre de la bourse de formation à la recherche Canada Impact+, et son directeur de thèse, Marlos C. Machado, boursier Amii et titulaire de la chaire CIFAR en IA du Canada. Dans cet article, ils présentent Wayfarer, une architecture de prise de décision autonome capable de maîtriser des comportements complexes en utilisant uniquement le flux de données de l’agent, sans aucune donnée humaine, intervention humaine ni connaissance du domaine codée en dur.

Les agents d’apprentissage par renforcement acquièrent des comportements par essais et erreurs, mais ils peuvent rencontrer des difficultés face à des tâches complexes nécessitant de nombreuses petites étapes. Prenons l’exemple d’un agent conçu pour se frayer un chemin à travers une grande maison. Lorsqu’il se déplace à travers et autour d’obstacles, chaque pas correspond à une décision que l’agent doit prendre : dans quelle direction aller, à quelle vitesse, et même s’il doit se déplacer ou non. Cela peut conduire à des décisions qui semblent logiques à court terme mais qui s’avèrent inefficaces au regard de l’objectif à long terme, et s’accompagner d’une hésitation chronophage à chaque point de décision. Les agents peuvent manquer du comportement déterminé nécessaire pour tenter quelque chose de différent (comme se rendre à un autre étage) ; ils peuvent avoir du mal à distinguer, parmi des millions de décisions, celle qui a été à l’origine de leur succès, et aucune de ces connaissances n’est nécessairement facilement transposable à une nouvelle situation.

Les options constituent une méthode permettant de résoudre tous ces problèmes en réduisant la complexité de la situation. Elles regroupent ces petites étapes qui sont traitées comme une seule et même décision. Au lieu de devoir prendre une centaine de petites décisions pour traverser une pièce semée d’obstacles, l’agent n’a qu’à faire un seul choix stratégique, par exemple « traverser la pièce ». Considérez cela comme une compétence. Les petites étapes font toutes partie de cette action plus vaste, ce qui réduit le nombre de décisions stratégiques que l’agent doit prendre, ce qui lui permet de consacrer davantage d’attention à ses objectifs à long terme.

Les options constituent depuis longtemps un outil prometteur dans le domaine de l'apprentissage par renforcement, mais jusqu'à présent, elles devaient pour l'essentiel être conçues par des humains, ou du moins affinées et élaborées par des agents s'appuyant sur des retours d'information humains pour guider le processus. Wayfarer représente une avancée majeure dans l'exploitation du véritable potentiel des options : il permet aux agents de découvrir eux-mêmes des options efficaces, d'apprendre quand les utiliser, puis de les réutiliser pour des tâches similaires.

Wayfarer est un algorithme indépendant du domaine qui fonctionne en combinant trois réseaux. Le premier est un réseau de représentation qui traite les observations de l’environnement et en construit une représentation, permettant ainsi à l’agent de distinguer ce qui varie lentement de ce qui varie rapidement, ce qui semble susceptible de se produire ou non, et ce qu’il peut ou ne peut pas contrôler. Ensuite, un réseau de compétences élabore un ensemble d’options à partir de cette représentation et de l’expérience de l’agent. Enfin, le troisième réseau est chargé de résoudre concrètement la tâche ; il évalue le défi qui se présente à lui et décide quelles actions et options permettraient d’obtenir le maximum de récompenses.

Ces réseaux fonctionnent de concert pour créer ce que les chercheurs appellent une « boucle vertueuse » : la représentation que l’agent se fait de l’environnement définit des objectifs internes permettant d’élaborer des options ; l’agent acquiert de l’expérience en fonction de l’option qu’il utilise, puis tire les leçons de cette expérience pour construire une meilleure représentation et des options plus solides. L’agent apprend par la pratique, en construisant activement des connaissances et du sens à partir de ses expériences, selon une approche constructiviste. Il utilise ensuite ces enseignements pour aller plus loin.

Marlos C. Machado intervient lors de la conférence Upper Bound 2026

Jouer

L'approche de Wayfarer a donné des résultats impressionnants. Les chercheurs l'ont testée à l'aide de l'ensemble « Atari 2600 Challenging Set », une sélection de dix jeux Atari complexes utilisés pour évaluer les performances des agents d'apprentissage par renforcement. Bon nombre de ces jeux, notamment « Montezuma's Revenge » et « Private Eye », exigent une planification à long terme, de l'exploration et une stratégie, ce qui en fait un excellent référentiel pour tester les limites des agents autonomes.

Ils ont constaté que Wayfarer affichait un gain de performance médian de 2,5 fois supérieur à celui obtenu sans options, tout en surpassant les modèles de référence établis (tels que IQN et Rainbow) et en égalant les performances des systèmes basés sur des modèles lourds. Et ce, sans intervention humaine ni options prédéfinies, mais en découvrant ses propres options.

Machado, qui a passé une décennie à étudier les options possibles en matière d’agents de RL, affirme que Wayfarer concrétise, peut-être pour la première fois, le potentiel de ces options. Ces travaux pourraient déboucher sur la mise au point d’agents autonomes plus performants, capables d’accomplir des tâches complexes dans des situations où l’intervention humaine n’est ni possible ni envisageable, que ce soit dans le domaine de la robotique industrielle ou des véhicules autonomes, tout en mobilisant moins de ressources et de puissance de calcul.