Apprentissage par renforcement du champ moyen partiellement observable

Résumé :

Les algorithmes traditionnels d'apprentissage par renforcement multi-agents ne sont pas adaptables à des environnements comportant plus de quelques agents, car ces algorithmes sont exponentiels en fonction du nombre d'agents. Des recherches récentes ont permis d'introduire des méthodes efficaces pour adapter les algorithmes d'apprentissage par renforcement multi-agents à de nombreux scénarios d'agents en utilisant la théorie du champ moyen. Les travaux précédents dans ce domaine supposent qu'un agent a accès à des métriques cumulatives exactes concernant le comportement du champ moyen du système, qu'il peut ensuite utiliser pour prendre ses mesures. Dans cet article, nous relâchons cette hypothèse et maintenons une distribution pour modéliser l'incertitude concernant le champ moyen du système. Nous considérons deux paramètres différents pour ce problème. Dans le premier cas, seuls les agents situés dans un voisinage fixe sont visibles, tandis que dans le second cas, la visibilité des agents est déterminée de manière aléatoire en fonction des distances. Pour chacun de ces paramètres, nous introduisons un algorithme basé sur l'apprentissage Q qui peut apprendre efficacement. Nous prouvons que cette estimation de l'apprentissage Q reste très proche de la valeur Q de Nash (sous un ensemble commun d'hypothèses) pour le premier paramètre. Nous montrons également de manière empirique que nos algorithmes surpassent les performances de plusieurs lignes de base dans trois jeux différents dans le cadre de MAgents, qui supporte de grands environnements avec de nombreux agents apprenant simultanément pour atteindre des objectifs éventuellement distincts.