La conférence de l 'Association for Computational Linguistics (ACL) s'est tenue cette année au début du mois de juillet à Toronto. Il s'agit de la plus grande conférence de linguistique informatique de l'année, avec plus de 3 000 participants cette année (2023).
Il s'agissait de la première conférence de l'ACL depuis la publication de ChatGPT en décembre 2022. Les discussions sur les grands modèles de langage (LLM) ont animé les couloirs et les sessions d'affichage, en partie en réponse aux discours d'ouverture de cette année, qui ont donné deux points de vue très différents sur les promesses de ChatGPT.
Inquiétudes concernant le "modèle de la langue immortelle
Le premier discours-programme a été prononcé par Geoffrey Hinton, lauréat du prix Turing et souvent considéré comme l'un des "parrains de l'intelligence artificielle". Récemment, Geoff a tiré la sonnette d'alarme sur les progrès rapides de l' intelligence artificielle. Il a averti que les modèles de langage actuels sont suffisamment puissants pour que nous nous inquiétions de leur utilisation et de leur disponibilité pour le grand public. Il était tellement convaincu de ce danger qu'il a quitté son poste chez Google, pensant qu'il serait plus libre d'exprimer ses inquiétudes sans être affilié à Google.
Il n'est donc pas surprenant que Geoff ait parlé des capacités des LLM et de leur puissance remarquable. Geoff a décrit le "modèle de langage immortel", notant que la puissance d'un modèle de langage réside dans un logiciel qui est séparable du matériel, et que le logiciel peut continuer à exister même si le matériel tombe en panne. Les humains n'ont pas cette même séparation ; nous n'avons pas la capacité de efficacement Nous n'avons pas la capacité de sauvegarder efficacement nos connaissances ou de les transférer à la génération suivante. Nous avons des institutions qui se consacrent au transfert de connaissances, mais ce transfert prend du temps et, dans le meilleur des cas, il s'accompagne de pertes. Comparez cela au transfert de connaissances d'une IA à une autre. Il est rapide, efficace et peut se faire sans perte. C'est l'un des grands dangers signalés par Hinton.
Les LLM en tant que bibliothèques
Le dernier discours-programme a été prononcé par la célèbre scientifique cognitive Alison Gopnik. Connue pour ses travaux sur le développement de l'enfant, elle a récemment appliqué ses méthodes expérimentales à l'étude des capacités des gestionnaires de l'apprentissage tout au long de la vie.
Dans son discours d'ouverture, Mme Gopnik a évoqué de manière générale l'histoire du transfert de connaissances. En tant qu'espèce, dit-elle, nous avons évolué pour vivre bien au-delà de l'âge de la procréation. Pourquoi ? Mme Gopnik suppose que c'est pour favoriser le transfert de connaissances. Le transfert de connaissances est au cœur du succès de l'humanité : des bibliothèques à l'Internet en passant par l'imprimerie.
Gopnik a décrit la "grand-mère ménopausée" comme la quintessence de la source de savoir : la bibliothèque originelle. Comme une bibliothèque, une grand-mère ménopausée est pleine de connaissances. Mais, contrairement à une grand-mère post-ménopausée, une bibliothèque physique ne sait pas rien rien. Une bibliothèque ne peut pas réellement tirer parti de ce savoir pour générer de nouvelles idées. Pour M. Gopnik, les LLM ne sont que des sources de connaissances. Ils ne font que stocker ce que nous avons déjà créé, sans jamais créer quoi que ce soit de nouveau.
M. Gopnik a fait remarquer que deux capacités cognitives permettent une révolution culturelle : la capacité d'imitation et la capacité d'innovation. L'imitation seule ne permet pas de progresser. Sans innovation, un agent imitateur est inutile. Gopnik affirme que le ChatGPT ne peut qu'imiter et présente des preuves qu'il n'est pas aussi doué pour l'exploration que les humains. Bien qu'il soit raisonnablement doué pour le raisonnement causal, ChatGPT est mauvais pour la découverte causale.
Mais qu'est-ce que l'innovation ? Souvent, l'innovation consiste à combiner des idées existantes de manière inédite, c'est-à-dire qu'il s'agit simplement de nouvelles combinaisons d'imitations. de nouvelles combinaisons d'imitation. La nature probabiliste de ChatGPT rend ce type d'innovation très possible.
Quand l'imitation est-elle une innovation ?
L'une de mes présentations préférées à l'ACL cette année a été la nouvelle méthode d'analyse de l'interprétabilité de Kevin Du et al. Les auteurs ont créé une nouvelle méthode pour caractériser les chemins d'importance au sein d'un réseau national. Leur méthode combine deux idées anciennes : SGD et Entropie. Le résultat est surprenant et utile ! Mais il s'agit également d'une simple combinaison de deux idées anciennes.
Qu'en est-il de Geoff Hinton, parrain de l'IA ? Il est célèbre, en partie, pour la rétropropagation. La rétro-propagation est puissante parce qu'elle combine la règle de la chaîne avec la mise en cache, ce qui accélère l'apprentissage des réseaux nationaux. Et que sont les réseaux neuronaux si ce n'est une implémentation informatique de ce que nous savons sur les neurones ? Pour être clair, il s'agit là d'innovations majeures et transformatrices. Mais elles sont, à la base, fortement enracinées dans les connaissances antérieures. Mon propos n'est pas de dire que n'importe qui aurait pu avoir les idées de Geoff Hinton ou de Kevin Du. Je suggère plutôt que la plupart des innovations proviennent de l'imitation. Alors pourquoi ChatGPT ne peut-il pas innover par l'imitation ?
Les deux intervenants ont reconnu que les LLM étaient des outils puissants pour le transfert de connaissances. Alors que Hinton a fait l'éloge prudent des capacités des LLMS, Gopnik nous a rassurés en nous disant que les LLM n'étaient que la dernière itération d'une bibliothèque, une source de connaissances fantaisiste incapable d'innover. Je pense que les deux points de vue sont un peu justes. Une grande partie de ce que font les LLM, c'est de la régurgitation. Mais parfois, ils régurgitent des combinaisons intéressantes et innovantes. Et, ce qui est essentiel, c'est de reconnaître que l'innovation nécessite toujours l'apport d'une personne.
Nombreux sont ceux qui ont critiqué le discours de M. Hinton, estimant qu'il s'appuyait essentiellement sur des preuves anecdotiques pour étayer ses affirmations sur les capacités des gestionnaires de programmes d'éducation et de formation tout au long de la vie. Mais la compétence des LLM reste largement dans l'œil de celui qui regarde. À l'heure actuelle, les LLM ne savent pas vraiment quand les phrases qu'ils génèrent représentent de bonnes idées ou des idées médiocres. Peut-être que notre prochaine avancée consistera à apprendre aux LLM à reconnaître le pouvoir de leurs propres innovations. Il faut un autre type de compétence pour reconnaître une bonne idée quand on la voit.