L'habileté l'emporte sur la chance : DeepStack est le premier programme informatique à dépasser les professionnels humains au poker No-Limit Texas Hold'em Heads-Up.

EDMONTON (2 mars 2017)-Une équipe d'informaticiens du groupe de recherche sur le poker informatique de l'Université de l'Alberta capture une fois de plus la fascination collective du monde pour l'intelligence artificielle. Dans un résultat historique pour la communauté florissante de la recherche en IA, l'équipe - qui comprend des chercheurs de l'Université Charles et de l'Université technique tchèque de Prague - a mis au point un système d'IA appelé DeepStack qui a vaincu des joueurs de poker professionnels en décembre 2016. Ces résultats historiques viennent d'être publiés dans Science, l'une des revues scientifiques à comité de lecture les plus prestigieuses au monde.

DeepStack comble le fossé entre les approches utilisées pour les jeux à information parfaite - comme les dames, les échecs et le go - et celles utilisées pour les jeux à information imparfaite, en raisonnant tout en jouant à l'aide d'une "intuition" affinée par l'apprentissage profond pour réévaluer sa stratégie à chaque décision.

"Le poker est depuis longtemps un défi pour l'intelligence artificielle", explique Michael Bowling, professeur à la faculté des sciences de l'université de l'Alberta et chercheur principal de l'étude. explique Michael Bowling, professeur à la faculté des sciences de l'université de l'Alberta et chercheur principal de l'étude. "C'est le jeu par excellence de l'information imparfaite, en ce sens que les joueurs ne disposent pas des mêmes informations ou ne partagent pas la même perspective lorsqu'ils jouent.

Ne vous laissez pas tromper par le nom : les jeux à information imparfaite sont une affaire sérieuse. Ces "jeux" sont un modèle mathématique général qui décrit la manière dont les décideurs interagissent. La recherche en intelligence artificielle a une longue histoire d'utilisation des jeux de société pour étudier ces modèles, mais l'attention s'est surtout portée sur les jeux à information parfaite. "Nous avons besoin de nouvelles techniques d'intelligence artificielle capables de traiter les cas où les décideurs ont des perspectives différentes", explique M. Bowling. explique Bowling, en précisant que le développement de techniques permettant de résoudre des jeux à information imparfaite aura des applications bien au-delà de la table de poker.

"Pensez à n'importe quel problème du monde réel. Nous avons tous une perspective légèrement différente de ce qui se passe, un peu comme si chaque joueur ne connaissait que ses propres cartes dans une partie de poker". Les applications immédiates comprennent la formulation de recommandations solides en matière de traitement médical, la planification stratégique de la défense et la négociation.

Cette dernière découverte s'ajoute à un ensemble déjà impressionnant de résultats de recherche sur l'intelligence artificielle et les jeux à information imparfaite, qui remonte à la création du groupe de recherche sur le poker informatique de l'université de l'Alberta en 1996. Bowling, qui est devenu le chercheur principal du groupe en 2006, a conduit le groupe à plusieurs étapes importantes pour l'intelligence artificielle. Lui et ses collègues ont mis au point Polaris en 2008, qui a battu les meilleurs joueurs de poker au Texas hold'em limit heads-up. Ils ont ensuite résolu le problème du hold'em limite heads-up avec Cepheus, publié en 2015 dans Science.

DeepStack étend la capacité de réfléchir à chaque situation pendant le jeu - qui a connu un succès célèbre dans des jeux comme les dames, les échecs et le go - aux jeux à information imparfaite en utilisant une technique appelée résolution continue. Cela permet à DeepStack de déterminer la bonne stratégie pour une situation de poker particulière sans penser à l'ensemble du jeu, en utilisant son "intuition" pour évaluer comment le jeu pourrait se dérouler dans un avenir proche.

"Nous formons notre système pour qu'il apprenne la valeur des situations", explique M. Bowling. explique Bowling. "Chaque situation est en soi un mini jeu de poker. Au lieu de résoudre une grande partie de poker, il résout des millions de petites parties de poker, chacune d'entre elles aidant le système à affiner son intuition du fonctionnement du jeu de poker. Et c'est cette intuition qui permet à DeepStack de jouer la totalité du jeu."

Réfléchir à chaque situation au fur et à mesure qu'elle se présente est important pour des problèmes complexes comme le hold'em no-limit en heads-up, qui présente beaucoup plus de situations uniques qu'il n'y a d'atomes dans l'univers, en grande partie à cause de la possibilité pour les joueurs de miser différents montants, y compris le spectaculaire "all-in". Malgré la complexité du jeu, DeepStack agit à la vitesse humaine - avec une moyenne de seulement trois secondes de temps de "réflexion" - et peut fonctionner sur un simple ordinateur portable de jeu utilisant un GPU Nvidia pour le calcul.

Pour tester cette approche, DeepStack a joué contre un pool de joueurs de poker professionnels en décembre 2016, recrutés par la Fédération internationale de poker. Trente-trois joueurs de 17 pays ont été recrutés, chacun étant invité à jouer un match de 3000 mains sur une période de quatre semaines. DeepStack a battu chacun des 11 joueurs qui ont terminé leur match, avec un seul en dehors de la marge de signification statistique, ce qui en fait le premier programme informatique à battre des joueurs professionnels au poker Texas hold'em no-limit en heads-up.

"DeepStack : L'intelligence artificielle de niveau expert dans le poker sans limite" a été publié en ligne par la revue Science le jeudi 2 mars 2017.