Série de séminaires sur l'IA 2023 : Stephen Montes Casper

Le AI Seminar est une réunion hebdomadaire à l'Université de l'Alberta où les chercheurs intéressés par l'intelligence artificielle (AI) peuvent partager leurs recherches. Les présentateurs comprennent à la fois des conférenciers locaux de l'Université de l'Alberta et des visiteurs d'autres institutions. Les sujets peuvent être liés de quelque manière que ce soit à l'intelligence artificielle, qu'il s'agisse de travaux théoriques fondamentaux ou d'applications novatrices de techniques d'IA à de nouveaux domaines et problèmes.

Le 1er septembre, Stephen Montes Casper - doctorant au MIT - a présenté "Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback" (Problèmes ouverts et limites fondamentales de l'apprentissage par renforcement à partir de commentaires humains) lors du séminaire sur l'IA.

Résumé :
L'apprentissage par renforcement à partir du feedback humain (RLHF) s'est imposé comme la technique d'alignement centrale utilisée pour affiner les systèmes d'IA de pointe tels que GPT-4, Claude, Bard et Llama-2. Étant donné que la RLHF est devenue la technique d'alignement par défaut de l'industrie, il est nécessaire d'étudier attentivement comment nous en sommes arrivés là et quels sont les défis qui persistent dans l'état actuel de l'art. Nous passons en revue les défis ouverts et les limitations fondamentales de la RLHF en nous concentrant sur les applications dans les grands modèles de langage. À certains égards, les progrès techniques sont réalisables, ce qui doit être considéré comme un motif de travail concerté et d'optimisme. Cependant, d'autres problèmes liés à la RLHF ne peuvent être entièrement résolus et doivent être évités ou compensés par des approches autres que la RLHF.

Regardez la présentation complète ci-dessous :

Vous voulez savoir comment donner un coup de fouet à votre carrière dans l'IA ? En savoir plus sur l'accélérateur de carrière d'Amii pour en savoir plus.