Vers une amélioration sûre des politiques pour les PDM non stationnaires

Résumé

De nombreux problèmes de décision séquentielle dans le monde réel concernent des systèmes critiques comportant des risques financiers et des risques pour la vie humaine. Bien que plusieurs travaux dans le passé aient proposé des méthodes sûres pour le déploiement, ils supposent que le problème sous-jacent est stationnaire. Cependant, de nombreux problèmes d'intérêt dans le monde réel présentent une non-stationnarité, et lorsque les enjeux sont élevés, le coût associé à une fausse hypothèse de stationnarité peut être inacceptable. Nous prenons les premières mesures pour assurer la sécurité, avec une confiance élevée, pour les problèmes de décision non stationnaires à variation régulière. La méthode que nous proposons étend un type d'algorithme sûr, appelé algorithme seldonien, par une synthèse de l'apprentissage par renforcement sans modèle avec l'analyse des séries temporelles. La sécurité est assurée par des tests d'hypothèse séquentiels de la performance prévue d'une politique, et les intervalles de confiance sont obtenus par bootstrap sauvage.