Apprentissage par renforcement du champ moyen à plusieurs types

Résumé :

La théorie du champ moyen offre un moyen efficace d'adapter les algorithmes d'apprentissage par renforcement multi-agents à des environnements comportant de nombreux agents qui peuvent être abstraits par un agent moyen virtuel. Dans cet article, nous étendons les algorithmes multi-agents du champ moyen à plusieurs types. Les types permettent d'assouplir une hypothèse de base des jeux de champ moyen, à savoir que tous les agents de l'environnement jouent des stratégies presque similaires et ont le même objectif. Nous menons des expériences sur trois bancs d'essai différents dans le domaine de l'apprentissage par renforcement de nombreux agents, sur la base du cadre standard MAgents. Nous considérons deux types différents de jeux à champ moyen : a) les jeux où les agents appartiennent à des types prédéfinis qui sont connus a priori et b) les jeux où le type de chaque agent est inconnu et doit donc être appris à partir d'observations. Nous introduisons de nouveaux algorithmes pour chaque type de jeu et démontrons leur performance supérieure à celle des algorithmes de l'état de l'art qui supposent que tous les agents appartiennent au même type et à d'autres algorithmes de base dans le cadre de MAgent.