Apprentissage et planification de la récompense moyenne avec options

Résumé :

Nous étendons le cadre des options pour l'abstraction temporelle dans l'apprentissage par renforcement des processus de décision de Markov (PDM) actualisés aux PDM à récompense moyenne. Nos contributions comprennent des algorithmes généraux convergents d'apprentissage inter-options hors politique, des algorithmes intra-options pour l'apprentissage de valeurs et de modèles, ainsi que des variantes de planification par échantillonnage de nos algorithmes d'apprentissage. Nos algorithmes et nos preuves de convergence étendent ceux récemment développés par Wan, Naik et Sutton. Nous étendons également la notion de comportement d'interruption de l'option de la formulation avec remise à la formulation avec récompense moyenne. Nous démontrons l'efficacité des algorithmes proposés par des expériences sur une version continue du domaine des quatre pièces.