Echantillonnage par importance pondérée pour l'apprentissage hors politique avec approximation de la fonction linéaire

L'échantillonnage par importance est une composante essentielle des algorithmes d'apprentissage par renforcement sans modèle hors politique. Cependant, sa variante la plus efficace, l'échantillonnage par importance pondérée, ne se prête pas facilement à l'approximation de fonctions et, pour cette raison, elle n'est pas utilisée dans les algorithmes d'apprentissage par renforcement sans politique. Dans cet article, nous franchissons deux étapes pour combler cette lacune. Premièrement, nous montrons que l'échantillonnage par importance pondérée peut être considéré comme un cas particulier de pondération de l'erreur des échantillons d'entraînement individuels, et que cette pondération présente des avantages théoriques et empiriques similaires à ceux de l'échantillonnage par importance pondérée. Ensuite, nous montrons que ces avantages s'étendent à une nouvelle version d'échantillonnage par importance pondérée de offpolicy LSTD(). Nous montrons empiriquement que notre nouvel algorithme WIS-LSTD() peut aboutir à une convergence beaucoup plus rapide et fiable que l'algorithme conventionnel off-policy LSTD() (Yu 2010, Bertsekas & Yu 2009).