TAC : Towered Actor Critic pour le traitement des types d'action multiples dans l'apprentissage par renforcement pour la découverte de médicaments

Résumé

L'apprentissage par renforcement (RL) a fait des progrès considérables dans les domaines abstraits et réels, mais la majorité des algorithmes de pointe ne traitent que des actions monotones. Cependant, certaines applications exigent que les agents raisonnent sur différents types d'actions. Notre application simule la génération de molécules par réaction, utilisée dans le cadre du processus de découverte de médicaments, et comprend des réactions unimoléculaires et bimoléculaires. Cet article présente un nouveau cadre, \emph{towered actor critic}. (TAC), pour gérer de multiples types d'actions. Le cadre TAC est général dans le sens où il est conçu pour être combiné avec n'importe quel algorithme RL existant pour un espace d'action continu. Nous le combinons avec TD3 pour obtenir empiriquement de bien meilleurs résultats que les méthodes existantes dans le cadre de la découverte de médicaments. TAC est également appliqué à des benchmarks RL dans OpenAI Gym et les résultats montrent que notre cadre peut améliorer, ou du moins ne pas nuire, aux performances par rapport à TD3 standard.