Utilité marginale pour la planification dans des espaces d'action continus ou discrets de grande taille

Résumé

La planification par échantillonnage est une famille puissante d'algorithmes permettant de générer un comportement intelligent à partir d'un modèle de l'environnement. La génération de bonnes actions candidates est essentielle au succès des planificateurs basés sur des échantillons, en particulier dans les espaces d'action continus ou vastes. Généralement, la génération d'actions candidates épuise l'espace d'action, utilise la connaissance du domaine ou, plus récemment, implique l'apprentissage d'une politique stochastique pour fournir une telle orientation de recherche. Dans cet article, nous explorons l'apprentissage explicite d'un générateur d'actions candidates en optimisant un nouvel objectif, l'utilité marginale. L'utilité marginale d'un générateur d'actions mesure l'augmentation de la valeur d'une action par rapport aux actions précédemment générées. Nous validons notre approche à la fois dans le curling, un domaine stochastique difficile avec des espaces d'état et d'action continus, et dans un jeu de localisation avec un espace d'action discret mais large. Nous montrons qu'un générateur entraîné avec l'objectif d'utilité marginale surpasse les schémas codés à la main construits sur une connaissance substantielle du domaine, des politiques stochastiques entraînées et d'autres objectifs naturels pour générer des actions pour les planificateurs basés sur l'échantillonnage.