Attribution de crédits structurels dans les réseaux neuronaux à l'aide de l'apprentissage par renforcement

Résumé :

L'attribution de crédits structurels dans les réseaux neuronaux est un problème de longue date, avec une variété d'alternatives à la rétropropagation proposées pour permettre la formation locale des nœuds. L'une des premières stratégies consistait à traiter chaque nœud comme un agent et à utiliser une méthode d'apprentissage par renforcement appelée REINFORCE pour mettre à jour chaque nœud localement avec seulement un signal de récompense global. Dans ce travail, nous revisitons cette approche et cherchons à savoir si nous pouvons tirer parti d'autres approches d'apprentissage par renforcement pour améliorer l'apprentissage. Nous formalisons d'abord la formation d'un réseau de neurones comme un problème d'apprentissage par renforcement à horizon fini et discutons de la manière dont cela facilite l'utilisation d'idées issues de l'apprentissage par renforcement comme l'apprentissage hors politique. Nous montrons que l'approche REINFORCE standard avec politique, même avec une variété d'approches de réduction de la variance, apprend des solutions sous-optimales. Nous introduisons une approche hors politique, pour faciliter le raisonnement sur l'action avide des autres agents et aider à surmonter la stochasticité des autres agents. Nous concluons en montrant que ces réseaux d'agents peuvent être plus robustes aux échantillons corrélés lors de l'apprentissage en ligne.