Revisiter l'environnement d'apprentissage Arcade : Protocoles d'évaluation et problèmes ouverts pour les agents généraux

Résumé :

L'Arcade Learning Environment (ALE) est une plate-forme d'évaluation qui pose le défi de construire des agents d'intelligence artificielle ayant des compétences générales dans des dizaines de jeux Atari 2600. L'ALE prend en charge une variété de problèmes différents et fait l'objet d'une attention croissante de la part de la communauté scientifique, ce qui a conduit à des réussites de premier plan, comme les très médiatisés Deep Q-Networks (DQN). Dans cet article, nous jetons un regard global sur la façon dont l'ALE est utilisé par la communauté des chercheurs. Nous montrons à quel point les méthodologies d'évaluation de l'ALE se sont diversifiées au fil du temps et nous mettons en évidence certaines préoccupations essentielles lors de l'évaluation des agents dans l'ALE. Nous profitons de cette discussion pour présenter quelques bonnes pratiques méthodologiques et fournir de nouveaux résultats de référence utilisant ces bonnes pratiques. Afin de poursuivre les progrès dans ce domaine, nous introduisons une nouvelle version de l'ALE qui prend en charge plusieurs modes de jeu et fournit une forme de stochasticité que nous appelons actions collantes. Nous concluons ce tour d'horizon en revenant sur les défis posés lors de l'introduction de l'ALE, en résumant l'état de l'art dans divers problèmes et en soulignant les problèmes qui restent ouverts.