Apprentissage récurrent en ligne et en temps réel à l'aide de connexions éparses et d'un apprentissage sélectif

Résumé

La construction d'un état à partir d'observations sensorielles est une composante importante d'un agent d'apprentissage par renforcement. Une solution pour la construction de l'état consiste à utiliser des réseaux neuronaux récurrents. Deux méthodes populaires basées sur le gradient pour l'apprentissage récurrent sont la rétropropagation dans le temps (BPTT) et l'apprentissage récurrent en temps réel (RTRL). La BPTT examine la séquence complète d'observations avant de calculer les gradients et ne convient pas aux mises à jour en temps réel. RTRL peut effectuer des mises à jour en ligne mais s'adapte mal aux grands réseaux. Dans cet article, nous proposons deux contraintes qui rendent RTRL évolutif. Nous montrons qu'en décomposant le réseau en modules indépendants ou en apprenant un réseau récurrent de manière incrémentielle, nous pouvons faire en sorte que RTRL évolue linéairement avec le nombre de paramètres. Contrairement aux algorithmes d'estimation du gradient évolutifs précédents, tels que UORO et Truncated-BPTT, nos algorithmes n'ajoutent pas de bruit ou de biais à l'estimation du gradient. Au lieu de cela, ils négocient la capacité fonctionnelle du réseau récurrent pour obtenir un apprentissage évolutif. Nous démontrons l'efficacité de notre approche par rapport au Truncated-BPTT sur un benchmark inspiré de l'apprentissage animal et dans l'évaluation de politiques pour des agents experts Rainbow-DQN dans l'Arcade Learning Environment (ALE).