Richard S. Sutton, boursier Amii et titulaire de la chaire CIFAR d'IA au Canada, reçoit le premier prix en informatique aux côtés d'Andrew Barto, collaborateur de longue date, pour leurs travaux fondamentaux sur l'apprentissage par renforcement.

Richard Sutton, conseiller scientifique en chef d'Amii, est connu dans le monde entier pour la manière dont il a orienté la recherche sur l'intelligence artificielle.

Ses idées ont jeté les bases de l'apprentissage par renforcement, et son dévouement continu à ses travaux a inspiré d'autres chercheurs dans le monde entier.

Aujourd'hui, M. Sutton reçoit la plus haute distinction en informatique pour son impact sur la recherche moderne en matière d'intelligence artificielle - et sur son avenir. Avec son collaborateur de longue date Andrew Barto, il a reçu le prix A.M. Turing de l'Association of Computing Machinery, souvent appelé le "prix Nobel de l'informatique".

On peut donc dire que Rich Sutton est une autorité en matière d'intelligence artificielle.

Mais il ne le fera jamais.

"Il n'y a pas d'autorité en science", dit-il.

"Personne n'a besoin de la permission de quiconque pour remettre les choses en question.

Cette approche rebelle est l'une des caractéristiques de la remarquable carrière de M. Sutton. Il ne voue pas une grande vénération au prestige ou à l'autorité incontestable. Pour lui, ce sont les idées qui comptent avant tout. Et les bonnes idées peuvent venir de n'importe où.

Une idée a été la force motrice du travail de Sutton pendant des décennies : la compréhension de l'esprit.

Une quête de toute une vie pour comprendre l'intelligence

Le terme "intelligence artificielle" pose parfois problème à M. Sutton. Il se considère plutôt comme un simple étudiant de l'intelligence elle-même, qui cherche à comprendre le fonctionnement de l'esprit, qu'il soit construit à partir de silicium ou de matière grise.

Pour lui, la construction d'une intelligence artificielle n'est qu'un moyen de mieux comprendre tous les types d'esprit.

Il affirme que la compréhension de l'intelligence est "l'un des rares grands biens de l'univers". Cela nous permettrait de mieux nous comprendre en tant qu'êtres humains et de mieux comprendre notre place dans le monde. Elle constituerait en outre une étape nécessaire pour résoudre bon nombre des problèmes les plus urgents auxquels la société est confrontée, ce qui se traduirait par des avantages considérables pour l'ensemble des êtres humains.

Sutton a commencé sa quête de décryptage de l'intelligence dans les années 1970, alors qu'il était étudiant à Stanford. À l'époque, les ordinateurs étaient encore une nouvelle technologie et les voies d'étude de l'intelligence artificielle étaient rares. Sutton a commencé à étudier la psychologie neuronale, mais s'est trouvé insatisfait de la discipline. M. Sutton accorde beaucoup d'importance à la clarté et à la fraîcheur de la pensée - il encourage les idées audacieuses et la remise en question du statu quo. Il s'est donc senti frustré par ce qu'il considérait comme une pensée calcifiée au sein de la psychologie et une résistance aux nouvelles perspectives, même lorsqu'elles étaient bien étayées.

Après avoir terminé son premier cycle universitaire, Sutton s'est inscrit à l'université du Massachusetts à Amherst, où il a obtenu une maîtrise, puis un doctorat de philosophie en informatique.

Apprentissage par renforcement : Une introduction

C'est un cliché courant de dire que quelqu'un a "écrit le livre" sur un sujet pour exprimer son expertise.

Mais pour Sutton, c'est en fait vrai.

Le pouvoir de l'apprentissage par essais et erreurs est un fil conducteur qui remonte aux premiers jours de la recherche sur l'intelligence artificielle - et même plus loin encore, puisqu'il trouve ses racines dans les études sur le comportement des animaux.

Sutton a tissé ce fil avec des approches de contrôle optimal, culminant dans son partenariat avec Andrew G. Barto, où ils ont publié Reinforcement Learning : An Introduction en 1998 - l'ouvrage qui allait jeter les bases de l'apprentissage par renforcement, plantant la graine d'une nouvelle approche puissante de l'apprentissage automatique.

"Je pense qu'il n'est pas faux de penser qu'Andy et moi avons été un point fixe dans RL", déclare-t-il.

Nous nous sommes réunis et nous nous sommes dit : "Cela devrait être un champ". Nous l'avons fait pendant un petit moment, puis nous avons décidé d'écrire un livre et d'en faire un champ.

Et c'est ce qui s'est passé. Ce travail original a été cité près de 80 000 fois au cours des 27 années qui ont suivi sa publication. L'apprentissage par renforcement est devenu un domaine prometteur de la recherche en intelligence artificielle, avec de vastes possibilités d'application, en particulier dans des environnements complexes et dynamiques. L'apprentissage par renforcement a permis de grandes avancées dans les domaines de la robotique, des grands modèles de langage, du contrôle industriel, des systèmes de recommandation et bien d'autres encore.

Amii, où M. Sutton est conseiller scientifique en chef et associé, est devenu le leader mondial de l'apprentissage par renforcement. Elle soutient la recherche fondamentale dans le domaine de l'apprentissage par renforcement et dans d'autres domaines de l'intelligence artificielle et s'efforce d'appliquer ces travaux dans le monde réel pour le bénéfice de tous.

Si l'impact actuel de l'apprentissage par renforcement est impressionnant, M. Sutton pense qu'il ne fait qu'effleurer la surface. Il pense qu'il s'agit de la clé du dernier grand prix scientifique : comprendre enfin notre propre esprit.

En 2022, M. Sutton et Michael Bowling et Patrick Pilarski , boursiers Amii et titulaires des chaires CIFAR d'IA au Canada, ont présenté une voie ambitieuse pour développer l'intelligence générale artificielle (AGI) - une intelligence artificielle capable de fonctionner à des niveaux proches de ceux de l'homme, que M. Sutton qualifie de "Saint Graal" de la recherche en IA. L'apprentissage par renforcement, qui permet d'apprendre aux agents à réagir et à s'adapter à un monde imprévisible et dynamique, est au cœur de cette approche.

En 2023, M. Sutton s'est associé au cofondateur de Keen Technologies et célèbre ingénieur logiciel John Carmack dans le but d'accélérer la recherche sur l'intelligence artificielle générale.

"Prenez un carnet, écrivez les choses".

Au cours de sa remarquable carrière, Sutton a révélé de nombreuses facettes de sa personnalité. Visionnaire de l'apprentissage par renforcement. Orateur. Bâtisseur de communautés. Survivant du cancer. Amoureux de la nature. Joueur d'échecs. Phénomène de la piste de danse.

Mais son impact le plus durable viendra peut-être de son rôle de mentor.

M. Sutton a supervisé plus d'une douzaine d'étudiants en doctorat, dont beaucoup continuent à faire avancer l'avenir de l'IA. David Silver, le principal chercheur à l'origine d'AlphaGo, a étudié sous la direction de M. Sutton. Il en a été de même pour Doina Precup, qui dirige le bureau de DeepMind à Montréal, Adam White, boursier d'Amii et fondateur d'une startup qui applique la RL à l'amélioration des systèmes d'eau potable, et Cam Linke, PDG d'Amii.

Ceux qui ont travaillé avec Sutton savent qu'il est courant de le voir caché dans des alcôves et des salles d'attente, penché sur une conversation approfondie avec un étudiant, buvant un coca light tout en stimulant et en remettant en question ses idées et en les reformulant sous une forme plus solide.

C'est dans ces interactions que l'obsession de Sutton pour la promotion et le développement de nouveaux modes de pensée est la plus évidente. Il a instauré une tradition estivale à l'Amii qu'il appelle "Tea Time Talks", une série de courtes conférences qui donnent aux étudiants et aux autres chercheurs une plate-forme pour partager et tester des idées en développement - toujours avec Rich dans le public, chargé des questions-réponses.

Il incite constamment ses étudiants à explorer de nouvelles idées. Il encourage tous ceux qui étudient sous sa direction à tenir un carnet de notes.

"Si vous voulez que les autres s'intéressent à ce que vous pensez, commencez par vous intéresser à vous-même. Prenez un carnet, écrivez vos pensées, remettez-les en question et transformez-les en quelque chose qui mérite d'être partagé".

Ses propres carnets sont remplis de réflexions sur l'intelligence, l'apprentissage et d'autres idées de recherche. Il enseigne à ses étudiants que les grandes idées n'arrivent pas complètement formées - elles se développent grâce à la curiosité, à l'itération et à l'engagement. Tout comme les systèmes d'apprentissage par renforcement s'améliorent avec l'expérience, notre compréhension de l'intelligence s'approfondit lorsque nous interagissons avec nos pensées, que nous les affinons et que nous les faisons avancer.

"Je veux toujours faire des choses extraordinaires.

Assis au café du deuxième étage d'Amii, à la veille de l'annonce du prix A.M. Turing, M. Sutton réfléchit au lien entre la recherche passée et la recherche présente. Il rappelle qu'Alan Turing a sans doute été le premier à parler publiquement d'intelligence artificielle, en déclarant en 1947 devant un public londonien : "Ce que nous voulons, c'est une machine capable d'apprendre par l'expérience".

Cette idée a guidé la remarquable carrière de M. Sutton au cours des cinquante dernières années. Le concept d'intelligence artificielle est bien différent de ce qu'il était à l'époque de Turing : il n'est plus théorique, il apporte déjà des avantages réels dans la vie des gens.

Sutton estime que les progrès réalisés ne sont rien en comparaison de ce qui nous attend.

"C'est un marathon, pas un sprint. Nous avons encore un long chemin à parcourir. Je pense que les aspects les plus importants de l'IA sont encore à venir".

Pour certains, une distinction telle que le prix A.M. Turing est le point culminant d'une carrière célèbre. Mais Sutton ne le voit pas comme une ligne d'arrivée. Il s'agit plutôt d'une borne kilométrique sur le chemin de son objectif ultime.

"Je veux être à la hauteur", déclare-t-il. "Je veux vraiment comprendre comment l'esprit fonctionne en profondeur. Plus profondément que ce que nous avons fait jusqu'à présent.

J'ai donc 67 ans, mais je veux encore essayer de faire des choses extraordinaires. C'est un désir honorable, et je ne vois pas pourquoi je ne pourrais pas réussir.

Et surtout, les idées sont importantes

Au fond, la quête de Sutton pour comprendre l'intelligence ne se limite pas à la construction de l'IA. Il s'agit d'explorer la façon dont les idées prennent forme, s'adaptent et mènent à la découverte.

Tout comme les systèmes d'apprentissage par renforcement apprennent en interagissant avec le monde, Sutton nous rappelle que le progrès vient en s'engageant avec des idées, en les affinant et en leur permettant de se développer en quelque chose qui fait avancer notre intelligence.

Et c'est là, plus que tout autre chose, l'héritage qu'il nous a laissé.