Des clins d'œil à la construction d'un état : Repères diagnostiques pour l'apprentissage en ligne de la représentation

Résumé

Des expériences de conditionnement classique montrent que des animaux comme les lapins, les pigeons et les chiens peuvent faire de longues associations temporelles qui permettent une prédiction en plusieurs étapes. Pour reproduire cette capacité remarquable, un agent doit construire une représentation d'état interne qui résume l'historique de ses interactions. Les réseaux neuronaux récurrents peuvent construire automatiquement l'état et apprendre les associations temporelles. Cependant, les méthodes d'apprentissage actuelles sont excessivement coûteuses pour la prédiction en ligne (apprentissage continu à chaque pas de temps), qui est l'objet de cet article. Pour faciliter la recherche sur la prédiction en ligne, nous présentons trois nouveaux problèmes de prédiction de diagnostic inspirés des expériences de conditionnement classique. Les problèmes proposés testent les capacités d'apprentissage des animaux et mettent en évidence les limites des méthodes d'apprentissage récurrentes actuelles. Bien que les problèmes proposés ne soient pas triviaux, ils peuvent néanmoins faire l'objet de tests et d'analyses approfondis dans le régime des petits ordinateurs, ce qui permet aux chercheurs d'étudier attentivement les problèmes isolés et, en fin de compte, d'accélérer les progrès vers des méthodes évolutives d'apprentissage de représentation en ligne.