Coordination multiniveau d'agents d'apprentissage par renforcement via la messagerie apprise

Résumé :

L'apprentissage par renforcement multi-agent coopératif (MARL) a obtenu des résultats significatifs, notamment en exploitant les capacités d'apprentissage de représentation des réseaux neuronaux profonds. Cependant, les grandes approches centralisées deviennent rapidement infaisables lorsque le nombre d'agents augmente, et les approches entièrement décentralisées peuvent manquer d'importantes opportunités de partage d'informations et de coordination. En outre, tous les agents ne sont pas égaux - dans certains cas, les agents individuels peuvent même ne pas avoir la capacité d'envoyer des communications à d'autres agents ou de modéliser explicitement d'autres agents. Cet article considère le cas où il y a un seul agent central, puissant, qui peut observer l'ensemble de l'espace d'observation, et où il y a plusieurs agents locaux, peu puissants, qui ne peuvent recevoir que des observations locales et ne peuvent pas communiquer entre eux. Le travail de l'agent central consiste à apprendre quel message envoyer aux différents agents locaux, sur la base des observations globales, non pas en résolvant de manière centralisée l'ensemble du problème et en envoyant des commandes d'action, mais en déterminant quelles informations supplémentaires un agent individuel devrait recevoir afin de pouvoir prendre une meilleure décision. Après avoir expliqué notre algorithme MARL, le marteau, et où il serait le plus applicable, nous l'implémentons dans les domaines de la navigation coopérative et du marcheur multi-agent. Les résultats empiriques montrent que 1) la communication apprise améliore effectivement les performances du système, 2) les résultats sont généralisables à un nombre multiple d'agents, et 3) les résultats sont généralisables à différentes structures de récompense.