Repenser les modèles formels de prise de décision multi-agents partiellement observables

Résumé : La prise de décision multi-agents dans des environnements partiellement observables est généralement modélisée soit comme un jeu à forme extensive (EFG) dans la théorie des jeux, soit comme un jeu stochastique partiellement observable (POSG) dans l'apprentissage par renforcement multi-agents (MARL). Un des problèmes de la situation actuelle est que, bien que la plupart des problèmes pratiques puissent être modélisés dans les deux formalismes, la relation entre les deux modèles n'est pas claire, ce qui entrave le transfert d'idées entre les deux communautés. Un deuxième problème est que, bien que les EFG aient récemment fait l'objet de progrès algorithmiques significatifs, leur formalisation classique est inadaptée à une présentation efficace des idées sous-jacentes, telles que celles concernant la décomposition.

Pour résoudre le premier problème, nous introduisons les jeux stochastiques à observation pondérée (FOSG), une modification mineure du formalisme POSG qui distingue l'observation privée de l'observation publique et simplifie ainsi grandement la décomposition. Pour remédier au second problème, nous montrons que les FOSG et les POSG sont naturellement liés aux EFG : en " déroulant " un FOSG dans sa forme arborescente, nous obtenons un EFG. Réciproquement, tout EFG temporel à rappel parfait correspond à une certaine FOSG sous-jacente de cette manière. De plus, cette relation justifie plusieurs modifications mineures de la formalisation classique des EFG qui sont apparues récemment comme une réponse implicite aux problèmes de décomposition du modèle. Enfin, nous illustrons le transfert d'idées entre EFG et MARL en présentant trois techniques EFG clés - la minimisation du regret contrefactuel, la forme de séquence et la décomposition - dans le cadre de FOSG.