Acteur-critique basé sur un modèle efficace pour une tâche de dialogue interactif.

Résumé

Les systèmes interactifs homme-machine qui s'appuient sur l'apprentissage automatique deviennent primordiaux dans la vie de millions de personnes qui utilisent quotidiennement des assistants numériques. Pourtant, les progrès futurs sont limités par la disponibilité des données et le coût d'acquisition de nouveaux échantillons. Une façon de résoudre ce problème est d'améliorer l'efficacité des échantillons des approches actuelles. En guise de solution, nous présentons un algorithme d'apprentissage par renforcement basé sur un modèle pour une tâche de dialogue interactif. Nous nous basons sur les méthodes de critique d'acteur couramment utilisées, en ajoutant un modèle d'environnement et un planificateur qui augmente un agent d'apprentissage pour apprendre le modèle de la dynamique de l'environnement. Nos résultats montrent que, sur une simulation qui imite la tâche interactive, notre algorithme nécessite 70 fois moins d'échantillons, par rapport à l'algorithme sans modèle couramment utilisé, et démontre une performance 2~fois meilleure asymptotiquement. De plus, nous introduisons une nouvelle contribution consistant à calculer une politique de planificateur souple et à mettre à jour une politique sans modèle, ce qui permet d'obtenir un agent sans modèle moins coûteux en termes de calcul et aussi performant que l'agent basé sur un modèle. Cette architecture basée sur un modèle sert de base qui peut être étendue à d'autres tâches interactives homme-machine, permettant ainsi de nouvelles avancées dans cette direction.