Planification sélective du style Dyna sous une capacité de modèle limitée

Résumé

Dans l'apprentissage par renforcement basé sur un modèle, la planification à l'aide d'un modèle imparfait de l'environnement peut nuire à la progression de l'apprentissage. Mais même lorsqu'un modèle est imparfait, il peut encore contenir des informations utiles à la planification. Dans cet article, nous étudions l'idée d'utiliser un modèle imparfait de manière sélective. L'agent doit planifier dans les parties de l'espace d'état où le modèle serait utile, mais s'abstenir d'utiliser le modèle là où il serait nuisible. Un mécanisme de planification sélective efficace nécessite l'estimation de l'incertitude prédictive, qui découle de l'incertitude aléatoire, de l'incertitude des paramètres et de l'inadéquation du modèle, entre autres sources. Les travaux antérieurs se sont concentrés sur l'incertitude des paramètres pour la planification sélective. Dans ce travail, nous soulignons l'importance de l'inadéquation du modèle. Nous montrons que la régression hétéroscédastique peut signaler une incertitude prédictive provenant de l'inadéquation du modèle qui est complémentaire à celle détectée par les méthodes conçues pour l'incertitude des paramètres, indiquant que la prise en compte à la fois de l'incertitude des paramètres et de l'inadéquation du modèle peut être une direction plus prometteuse pour une planification sélective efficace que l'une ou l'autre prise isolément.