Nouvelles
Le AI Seminar est une réunion hebdomadaire à l'Université de l'Alberta où les chercheurs intéressés par l'intelligence artificielle (AI) peuvent partager leurs recherches. Les présentateurs comprennent à la fois des conférenciers locaux de l'Université de l'Alberta et des visiteurs d'autres institutions. Les sujets peuvent être liés de quelque manière que ce soit à l'intelligence artificielle, qu'il s'agisse de travaux théoriques fondamentaux ou d'applications novatrices de techniques d'IA à de nouveaux domaines et problèmes.
Le 17 mars, Yuqiao Wen - doctorant à l'Université d'Alberta - a présenté "f-Divergence Minimization for Sequential Knowledge Distillation" lors du séminaire AI.
La distillation des connaissances (KD) est le processus de transfert des connaissances d'un grand modèle vers un petit modèle. Elle a fait l'objet d'une attention croissante dans la communauté du traitement du langage naturel, en raison de la nécessité de compresser des modèles de langage de plus en plus volumineux.
Dans ce travail, Wen propose un cadre de distillation f, qui formule la distillation séquentielle des connaissances comme la minimisation d'une fonction de divergence f généralisée. Il propose quatre variantes de distillation dans le cadre de son équipe et montre que les approches SeqKD et ENGINE existantes sont des approximations de leurs méthodes de f-distillation. Il dérive en outre une décomposition par étapes pour leur f-distill, réduisant la divergence au niveau de la séquence, qui est intraitable, à des pertes au niveau du mot qui peuvent être calculées d'une manière pratique.
Les expériences menées sur quatre ensembles de données montrent que les méthodes sont plus performantes que les approches KD existantes et que les pertes de distillation symétriques peuvent mieux forcer l'étudiant à apprendre à partir de la distribution de l'enseignant.
Regardez la présentation complète ci-dessous :
Vous voulez savoir comment donner un coup de fouet à votre carrière dans l'IA ? En savoir plus sur l'accélérateur de carrière d'Amii pour en savoir plus.
24 juillet 2024
Nouvelles
Comment obtenir les meilleurs résultats lorsque l'IA et les êtres humains travaillent ensemble ? Dans cet épisode d'Approximately Correct, nous nous penchons sur l'IA en boucle avec Matt Taylor, boursier de l'Amii et titulaire de la chaire d'IA du CIFAR au Canada.
22 juillet 2024
Nouvelles
Lisez notre mise à jour mensuelle sur la croissance de l'écosystème de l'intelligence artificielle en Alberta et sur les possibilités d'y participer.
18 juillet 2024
Nouvelles
Amii annonce sa collaboration avec Communitech, un centre d'innovation de la région de Waterloo, afin de fournir aux fondateurs de startups les outils et les ressources d'IA dont ils ont besoin pour intégrer l'IA et développer des capacités internes avec succès. La collaboration s'appuiera sur l'expertise et les ressources d'Amii en matière d'IA et sera centrée sur le programme d'exploration de l'apprentissage automatique (ML Exploration) d'Amii.
Vous cherchez à renforcer les capacités en matière d'IA ? Vous avez besoin d'un conférencier pour votre événement ?
Participez à l'écosystème croissant de l'IA en Alberta ! Les demandes de conférenciers, de parrainage et de lettres de soutien sont les bienvenues.