Abstractions d'états invariants par rapport au modèle pour l'apprentissage par renforcement basé sur le modèle.

Résumé :

La précision et la généralisation des modèles dynamiques sont essentielles au succès de l'apprentissage par renforcement basé sur des modèles (MBRL). À mesure que la complexité des tâches augmente, l'apprentissage des modèles dynamiques devient de plus en plus inefficace pour les méthodes MBRL. Cependant, de nombreuses tâches présentent également une sparsité dans la dynamique, c'est-à-dire que les actions n'ont qu'un effet local sur la dynamique du système. Dans cet article, nous exploitons cette propriété dans une perspective d'invariance causale dans le cadre d'une tâche unique, en introduisant un nouveau type d'abstraction d'état appelé \textit{model-invariance}. Contrairement aux formes précédentes d'abstractions d'état, une abstraction d'état à invariance de modèle exploite la sparsité causale sur les variables d'état. Cela permet la généralisation à de nouvelles combinaisons de valeurs non vues des variables d'état, ce que les formes non factorisées d'abstractions d'état ne peuvent pas faire. Nous prouvons qu'une politique optimale peut être apprise sur cette abstraction d'état à invariance de modèle. Ensuite, nous proposons une méthode pratique pour apprendre approximativement une représentation invariante du modèle pour des domaines complexes. Nous validons notre approche en montrant une performance de modélisation améliorée par rapport aux approches standard de maximum de vraisemblance sur des tâches difficiles, telles que l'Humanoïde basé sur MuJoCo. De plus, dans le cadre du MBRL, nous montrons de forts gains de performance par rapport à l'efficacité de l'échantillonnage sur une multitude d'autres tâches de contrôle continu.