Communiqué de presse : DeepStack - Une intelligence artificielle de niveau expert pour le poker No-Limit Heads-Up

L'habileté l'emporte sur la chance : DeepStack est le premier programme informatique à dépasser les professionnels humains au poker No-Limit Texas Hold'em Heads-Up.

EDMONTON (2 mars 2017)-Une équipe d'informaticiens du groupe de recherche sur le poker informatique de l'Université de l'Alberta capte une fois de plus la fascination collective du monde pour l'intelligence artificielle. Dans un résultat historique pour la communauté florissante de la recherche en IA, l'équipe - qui comprend des chercheurs de l'Université Charles et de l'Université technique tchèque de Prague - a mis au point un système d'IA appelé DeepStack qui a vaincu des joueurs de poker professionnels en décembre 2016. Ces résultats historiques viennent d'être publiés dans Science, l'une des revues scientifiques à comité de lecture les plus prestigieuses au monde.

DeepStack comble le fossé entre les approches utilisées pour les jeux à information parfaite - comme les dames, les échecs et le go - et celles utilisées pour les jeux à information imparfaite, en raisonnant tout en jouant à l'aide d'une "intuition" affinée par l'apprentissage profond pour réévaluer sa stratégie à chaque décision.

"Lepoker est depuis longtemps un problème difficile pour l'intelligence artificielle", explique Michael Bowling, professeur à la faculté des sciences de l'Université de l'Alberta et chercheur principal de l'étude. "C'est la quintessence du jeu de l'information imparfaite, dans le sens où les joueurs ne disposent pas des mêmes informations ou ne partagent pas la même perspective pendant qu'ils jouent."

Ne vous laissez pas tromper par le nom : les jeux à information imparfaite sont une affaire sérieuse. Ces "jeux" sont un modèle mathématique général qui décrit comment les décideurs interagissent. La recherche en intelligence artificielle utilise depuis longtemps les jeux de société pour étudier ces modèles, mais l'attention s'est surtout portée sur les jeux à information parfaite. "Nous avons besoin de nouvelles techniques d'IA capables de gérer les cas où les décideurs ont des perspectives différentes", déclare M. Bowling, expliquant que le développement de techniques permettant de résoudre les jeux à information imparfaite aura des applications bien au-delà de la table de poker.

"Pensez à n'importe quel problème du monde réel. Nous avons tous une perspective légèrement différente de ce qui se passe, un peu comme chaque joueur ne connaît que ses propres cartes dans une partie de poker." Les applications immédiates comprennent la formulation de recommandations solides en matière de traitement médical, la planification stratégique de la défense et la négociation.

Cette dernière découverte s'ajoute à un ensemble déjà impressionnant de résultats de recherche sur l'intelligence artificielle et les jeux à information imparfaite, qui remonte à la création du groupe de recherche sur le poker informatique de l'université de l'Alberta en 1996. Bowling, qui est devenu le chercheur principal du groupe en 2006, a conduit le groupe à plusieurs étapes importantes pour l'intelligence artificielle. Lui et ses collègues ont mis au point Polaris en 2008, qui a battu les meilleurs joueurs de poker au Texas hold'em limit heads-up. Ils ont ensuite résolu le problème du hold'em limite heads-up avec Cepheus, publié en 2015 dans Science.

DeepStack étend la capacité de réfléchir à chaque situation pendant le jeu - qui a connu un succès célèbre dans des jeux comme les dames, les échecs et le go - aux jeux à information imparfaite en utilisant une technique appelée résolution continue. Cela permet à DeepStack de déterminer la bonne stratégie pour une situation de poker particulière sans penser à l'ensemble du jeu, en utilisant son "intuition" pour évaluer comment le jeu pourrait se dérouler dans un avenir proche.

"Nous entraînons notre système à apprendre la valeur des situations", explique Bowling. "Chaque situation est en soi une mini partie de poker. Au lieu de résoudre une grande partie de poker, il résout des millions de ces petites parties de poker, chacune d'entre elles aidant le système à affiner son intuition sur le fonctionnement du jeu de poker. Et cette intuition est le carburant derrière la façon dont DeepStack joue le jeu complet".

Réfléchir à chaque situation au fur et à mesure qu'elle se présente est important pour des problèmes complexes comme le hold'em no-limit en heads-up, qui présente beaucoup plus de situations uniques qu'il n'y a d'atomes dans l'univers, en grande partie à cause de la possibilité pour les joueurs de miser différents montants, y compris le spectaculaire "all-in". Malgré la complexité du jeu, DeepStack agit à la vitesse humaine - avec une moyenne de seulement trois secondes de temps de "réflexion" - et peut fonctionner sur un simple ordinateur portable de jeu utilisant un GPU Nvidia pour le calcul.

Pour tester cette approche, DeepStack a joué contre un pool de joueurs de poker professionnels en décembre 2016, recrutés par la Fédération internationale de poker. Trente-trois joueurs de 17 pays ont été recrutés, chacun étant invité à jouer un match de 3000 mains sur une période de quatre semaines. DeepStack a battu chacun des 11 joueurs qui ont terminé leur match, avec un seul en dehors de la marge de signification statistique, ce qui en fait le premier programme informatique à battre des joueurs professionnels au poker Texas hold'em no-limit en heads-up.

"DeepStack : Une intelligence artificielle de niveau expert dans le poker No-Limit". a été publié en ligne par la revue Science le jeudi 2 mars 2017.