Fournir des conseils fondés sur l'incertitude aux agents d'apprentissage par renforcement profond

Résumé

La complexité des échantillons des techniques d'apprentissage par renforcement (RL) représente toujours un défi pour l'extension du RL à des domaines non résolus. Une façon de pallier ce problème est de tirer parti d'échantillons de la politique d'un démonstrateur pour apprendre plus rapidement. Cependant, les conseils sont normalement limités, donc les conseils devraient idéalement être dirigés vers les états où l'agent est incertain sur la meilleure action à appliquer. Dans ce travail, nous proposons le Requesting Confidence-Moderated Policy advice (RCMP), un cadre de conseil d'action où l'agent demande des conseils lorsque son incertitude est élevée. Nous décrivons une technique pour estimer l'incertitude de l'agent avec des modifications mineures dans les méthodes RL standard basées sur la valeur. Nous montrons que RCMP est plus performant que plusieurs modèles de base dans le domaine Atari Pong.