L'effet de la réutilisation de la fonction Q sur le regret total de l'apprentissage par renforcement tabulaire, sans modèle.

Résumé :

Certaines méthodes d'apprentissage par renforcement souffrent d'une complexité d'échantillonnage élevée, ce qui les rend peu pratiques dans les situations du monde réel. La réutilisation des fonctions Q, une méthode d'apprentissage par transfert, est une façon de réduire la complexité d'échantillonnage de l'apprentissage, améliorant potentiellement l'utilité des algorithmes existants. Des travaux antérieurs ont montré l'efficacité empirique de la réutilisation des fonctions Q pour divers environnements lorsqu'elle est appliquée à des algorithmes sans modèle. À notre connaissance, il n'y a pas eu de travaux théoriques montrant le regret de la réutilisation de la fonction Q lorsqu'elle est appliquée au cadre tabulaire, sans modèle. Notre objectif est de combler le fossé entre les travaux théoriques et empiriques sur la réutilisation de la fonction Q en fournissant un aperçu théorique de l'efficacité de la réutilisation de la fonction Q lorsqu'elle est appliquée à l'algorithme Q-learning avec UCB-Hoeffding. Notre principale contribution est de montrer que dans un cas spécifique, si la réutilisation de la fonction Q est appliquée à l'algorithme Q-learning avec UCB-Hoeffding, le regret est indépendant de l'espace d'état ou d'action. Nous fournissons également des résultats empiriques soutenant nos conclusions théoriques.