L'environnement d'apprentissage arcade : Une plateforme d'évaluation pour les agents généraux

Dans cet article, nous présentons l'Arcade Learning Environment (ALE), à la fois un défi et une plateforme et une méthodologie pour évaluer le développement d'une technologie d'IA générale et indépendante du domaine. L'ALE fournit une interface à des centaines d'environnements de jeux Atari 2600, tous différents, intéressants et conçus pour représenter un défi pour les joueurs humains. ALE présente des défis de recherche importants pour l'apprentissage par renforcement, l'apprentissage par modèle, la planification basée sur un modèle, l'apprentissage par imitation, l'apprentissage par transfert et la motivation intrinsèque. Plus important encore, il fournit un banc d'essai rigoureux pour évaluer et comparer les approches de ces problèmes. Nous illustrons les promesses de l'ALE en développant et en évaluant des agents indépendants du domaine conçus à l'aide de techniques d'IA bien établies pour l'apprentissage par renforcement et la planification. Ce faisant, nous proposons également une méthodologie d'évaluation rendue possible par l'ALE, en rapportant des résultats empiriques sur plus de 55 jeux différents. L'ensemble du logiciel, y compris les agents de référence, est accessible au public.

Remerciements

Nous tenons à remercier Marc Lanctot, Erik Talvitie et Matthew Hausknecht pour leurs suggestions concernant le débogage et l'amélioration du code source de l'Arcade Learning Environment, ainsi que nos évaluateurs pour leurs commentaires utiles et leur enthousiasme à l'égard de l'Atari 2600 comme plateforme de recherche. Le travail présenté ici a été soutenu par l'Alberta Innovates Technology Futures, l'Alberta Innovates Centre for Machine Learning de l'Université de l'Alberta et le Conseil de recherches en sciences naturelles et en génie du Canada. Des ressources informatiques inestimables ont été fournies par Compute/Calcul Canada.