Chargement...

Les progrès dans le domaine des grands modèles linguistiques se succèdent à un rythme effréné, avec l'apparition apparemment constante de modèles plus grands et plus complexes.

Mais cela a un coût. Mais l'augmentation de la taille n'est pas la seule voie à suivre. À mesure que les modèles gagnent en complexité, ils deviennent également plus coûteux, plus longs à former et plus gourmands en ressources. C'est pourquoi les alternatives telles que le modèle R1 de Deepseek, qui fournit des résultats impressionnants avec une fraction du coût et des ressources des LLM comparables, suscitent de plus en plus d'enthousiasme. Cette évolution est le signe d'un changement dans le développement de l'IA, où l'efficacité, et pas seulement l'échelle, est le moteur de l'innovation.

Dans le dernier épisode de l'émission Approximativement correct Lili Mou - boursière Amii et titulaire de la chaire CIFAR AI au Canada - parle de ses recherches sur l'amélioration de l'efficacité du LLM et de la manière dont des modèles plus petits et plus accessibles pourraient élargir les possibilités pour tout le monde.

Je pense qu'il y a deux directions générales", explique-t-il aux animateurs Alona Fyshe et Scott Lilwall, "l'une est de plus en plus grande, mais l'autre est de plus en plus petite, et elle peut changer notre vie dans toutes sortes de configurations". Mais l'autre est de plus en plus petite - et elle peut changer notre vie dans toutes sortes de configurations."

La recherche sur l'efficacité du LLM redéfinit ce qui est possible, en faisant des modèles plus petits et plus accessibles une réalité.

Cette évolution pourrait soudainement rendre le développement de LLM personnalisés plus accessible aux petites organisations. 

"Les entreprises en phase de démarrage n'ont pas le budget nécessaire pour mettre en place des clusters de grande taille, ou bien elles ne disposent pas de données et ne peuvent pas collecter des tonnes d'échantillons pour entraîner les modèles", explique-t-il. 

Cela changerait également la donne pour des secteurs tels que les industries vitales qui traitent des informations sensibles et des questions de confidentialité, comme les soins de santé ou les services financiers, où les données doivent être contrôlées de manière plus stricte.

"La question est donc de savoir comment rendre mon modèle linguistique plus efficace.

Mou explique comment des techniques telles que la projection à faible rang et la distillation multi-enseignants permettent de réduire la taille des LLM, de les rendre plus rapides et plus efficaces. Il a notamment contribué au développement de Floraune approche qui permet aux LLM de montrer des performances supérieures tout en utilisant beaucoup moins de puissance de calcul pour s'entraîner.

Écoutez ou regardez l'interview complète pour en savoir plus sur le travail de Mou et ce qu'il pourrait signifier pour l'avenir des LLM.

A peu près correct : Un podcast sur l'IA d'Amii est animé par Alona Fyshe et Scott Lilwall. Il est produit par Lynda Vang, et la production vidéo est assurée par Chris Onciul. Abonnez-vous au podcast sur Apple Podcasts ou Spotify.