ConQUR : Atténuation du biais d'illusion dans l'apprentissage profond des questions (Q-learning)

Résumé

Le biais d'illusion est une source fondamentale d'erreur dans l'apprentissage approximatif de la qualité. À ce jour, les seules techniques qui traitent explicitement du délire nécessitent une recherche exhaustive à l'aide d'estimations de valeurs tabulaires. Dans cet article, nous développons des méthodes efficaces pour atténuer le biais d'illusion en formant des approximateurs Q avec des étiquettes qui sont "cohérentes" avec la classe de politique avide sous-jacente. Nous introduisons un schéma de pénalisation simple qui encourage les étiquettes Q utilisées dans les lots d'entraînement à rester (conjointement) cohérentes avec la classe de politiques exprimables. Nous proposons également un cadre de recherche qui permet de générer et de suivre plusieurs approximateurs de Q, ce qui atténue l'effet des engagements prématurés (implicites) de politique. Les résultats expérimentaux démontrent que ces méthodes peuvent améliorer les performances de l'apprentissage Q dans une variété de jeux Atari, parfois de façon spectaculaire.