Évitement des collisions multi-agents le moins restrictif possible grâce à l'apprentissage profond par méta-renforcement et au contrôle optimal.

Résumé :

La planification et le contrôle de trajectoires multi-agents sans collision, soumises à des exigences différentes en termes d'objectifs et de dynamique du système, ont fait l'objet d'études approfondies et ont récemment attiré l'attention dans le domaine de l'apprentissage automatique et par renforcement. Cependant, en particulier lorsqu'on utilise un grand nombre d'agents, la construction d'une politique d'évitement des collisions la moins restrictive possible est de la plus haute importance pour les méthodes classiques et celles basées sur l'apprentissage. Dans cet article, nous proposons un module d'évitement des collisions moins restrictif (LR-CAM) qui évalue la sécurité des systèmes multi-agents et prend le contrôle uniquement lorsque cela est nécessaire pour éviter les collisions. Le LR-CAM est une politique unique qui peut être enveloppée autour des politiques de tous les agents dans un système multi-agent. Elle permet à chaque agent de poursuivre n'importe quel objectif tant qu'il peut le faire en toute sécurité. L'avantage de la politique la moins restrictive proposée est d'interrompre et d'annuler le contrôleur par défaut uniquement en cas de danger inévitable à venir. Nous utilisons un encodeur automatique variationnel (VAE) basé sur une mémoire à long terme (LSTM) pour permettre au LR-CAM de tenir compte d'un nombre variable d'agents dans l'environnement. De plus, nous proposons un cadre d'apprentissage de méta renforcement hors politique avec une nouvelle fonction de récompense basée sur une fonction de valeur Hamilton-Jacobi pour entraîner le LR-CAM. La méthode proposée est entièrement méta-entraînée par une simulation basée sur ROS et testée sur un système multi-agent réel. Nos résultats montrent que la méthode LR-CAM est 30 % plus performante que la méthode de base classique la moins restrictive. En outre, nous montrons que même si un sous-ensemble d'agents dans un système multi-agents utilise LR-CAM, le taux de réussite de tous les agents augmentera de manière significative.