Modélisation des opposants avec des méthodes asynchrones en rl profond

Résumé

Un système informatique et un procédé pour étendre l'apprentissage par renforcement asynchrone parallélisé afin d'inclure la modélisation d'agents pour former un réseau neuronal sont décrits. Le fonctionnement coordonné d'une pluralité de processeurs matériels ou de fils d'exécution est utilisé de telle sorte que chacun fonctionne comme un processus de travail configuré pour interagir simultanément avec un environnement informatique cible pour un calcul de gradient local basé sur un mécanisme de détermination de perte et pour mettre à jour les paramètres globaux du réseau. Le mécanisme de détermination des pertes comprend au moins un terme de perte de politique (acteur), un terme de perte de valeur (critique) et une perte d'entropie croisée supervisée. Des variantes sont décrites plus loin où le réseau neuronal est adapté pour inclure un espace latent pour suivre les caractéristiques de la politique de l'agent.