Série de séminaires AI 2022 : Sriram Ganapathi Subramanian

Le AI Seminar est une réunion hebdomadaire à l'Université de l'Alberta où les chercheurs intéressés par l'intelligence artificielle (AI) peuvent partager leurs recherches. Les présentateurs comprennent à la fois des conférenciers locaux de l'Université de l'Alberta et des visiteurs d'autres institutions. Les sujets peuvent être liés de quelque manière que ce soit à l'intelligence artificielle, qu'il s'agisse de travaux théoriques fondamentaux ou d'applications novatrices de techniques d'IA à de nouveaux domaines et problèmes.

Le 12 août, Sriram Ganapathi Subramanian, chercheur postdoctoral à l'Institut Vector, a présenté "Decentralized Mean Field Games" au séminaire sur l'IA.

Les algorithmes d'apprentissage par renforcement multi-agents n'ont pas été largement adoptés dans les environnements à grande échelle avec de nombreux agents, car ils sont souvent mal adaptés au nombre d'agents. L'utilisation de la théorie des champs moyens pour agréger les agents a été proposée comme solution à ce problème par des travaux antérieurs. Cependant, presque tous les travaux antérieurs dans ce domaine partent de l'hypothèse qu'il faut un système d'apprentissage centralisé où tous les agents de l'environnement obtiennent des observations globales et/ou sont effectivement indiscernables les uns des autres (c'est-à-dire qu'ils apprennent la même politique dans le temps imparti). Dans son exposé, Subramanian fournit une méthode qui relâche cette hypothèse sur la nécessité de protocoles d'apprentissage centralisés et propose un nouveau système de champ moyen connu sous le nom de Decentralized Mean Field Games, où chaque agent apprend de manière décentralisée sur la base de ses observations locales, et peut être très différent des autres.

De plus, Subramanian fournit un concept théorique de solution et établit une garantie de point fixe pour un algorithme itératif basé sur l'apprentissage Q dans ce système. Une conséquence pratique de notre approche est qu'elle peut résoudre le problème de la "poule et de l'œuf" dans les algorithmes d'apprentissage par renforcement à champ moyen empirique. Notamment, il est possible de concevoir des algorithmes efficaces (basés sur l'approximation de fonctions) d'apprentissage par la qualité et de critique de l'acteur qui utilisent l'approche décentralisée d'apprentissage par champ moyen. Empiriquement, ces algorithmes donnent de meilleures performances par rapport aux bases communes dans ce domaine. Dans ce contexte, les agents n'ont pas besoin d'être des clones les uns des autres et apprennent de manière totalement décentralisée. Ainsi, pour la première fois, l'application des méthodes d'apprentissage par champ moyen peut être étendue à des environnements entièrement compétitifs, à des environnements d'espace d'action continu à grande échelle et à d'autres environnements avec des agents hétérogènes. Il présente également une application de la méthode du champ moyen dans un problème de covoiturage en utilisant un ensemble de données du monde réel. Il propose une solution décentralisée à ce problème, qui est plus pratique que les approches de formation centralisées envisagées par les efforts de recherche antérieurs.

Regardez la présentation complète ci-dessous :

Tenez-vous au courant de la série de séminaires sur l'IA en vous inscrivant à la liste de diffusion.

Découvrez comment Amii fait progresser la recherche de pointe en matière d'intelligence artificielle et d'apprentissage automatique : visitez notre site Web. Recherche page.