Sélection de politiques hors ligne en cas d'incertitude

Résumé

La présence de l'incertitude dans l'évaluation des politiques complique considérablement le processus de classement et de sélection des politiques dans le monde réel. Nous considérons formellement la sélection de politiques hors ligne comme l'apprentissage de préférences sur un ensemble de perspectives de politiques à partir d'un ensemble de données d'expérience fixe. Bien qu'il soit possible de sélectionner ou de classer des politiques sur la base d'estimations ponctuelles de leur valeur ou d'intervalles de confiance élevés, l'accès à la distribution complète de la croyance de la valeur de la politique permet d'utiliser des algorithmes de sélection plus flexibles pour un éventail plus large de mesures d'évaluation en aval. Nous proposons BayesDICE pour estimer cette distribution de croyance en termes de postérieurs de ratios de correction de distribution dérivés de contraintes stochastiques (par opposition à la vraisemblance explicite, qui n'est pas disponible). Empiriquement, BayesDICE est très compétitif par rapport aux approches de pointe existantes dans l'estimation des intervalles de confiance. Plus important encore, nous montrons comment la distribution de croyance estimée par BayesDICE peut être utilisée pour classer les politiques en fonction de n'importe quelle métrique arbitraire de sélection de politiques en aval, et nous démontrons empiriquement que cette procédure de sélection surpasse de manière significative les approches existantes, telles que le classement des politiques en fonction de la moyenne ou des estimations de la valeur de la borne inférieure de haute confiance.