Recherche arborescente de Monte Carlo à mémoire augmentée

Cet article propose et évalue la recherche arborescente de Monte Carlo avec mémoire (M-MCTS), qui fournit une nouvelle approche pour exploiter la généralisation dans la recherche en ligne en temps réel. L'idée principale de M-MCTS est d'incorporer MCTS avec une structure de mémoire, où chaque entrée contient des informations sur un état particulier. Cette mémoire est utilisée pour générer une estimation approximative de la valeur en combinant les estimations d'états similaires. Nous montrons que l'approximation de la valeur basée sur la mémoire est meilleure que l'estimation de Monte Carlo classique avec une probabilité élevée dans des conditions légères. Nous évaluons M-MCTS dans le jeu de Go. Les résultats expérimentaux montrent que le M-MCTS surpasse le MCTS original avec le même nombre de simulations.

Remerciements

Les auteurs souhaitent remercier Andrew Jacobsen pour avoir fourni le code source de Fuego avec le réseau neuronal, ainsi que les arbitres anonymes pour leurs précieux conseils. Cette recherche a été soutenue par le CRSNG, le Conseil de recherches en sciences naturelles et en génie du Canada.