Série de séminaires AI 2023 : Anna Koop

Le AI Seminar est une réunion hebdomadaire à l'Université de l'Alberta où les chercheurs intéressés par l'intelligence artificielle (AI) peuvent partager leurs recherches. Les présentateurs comprennent à la fois des conférenciers locaux de l'Université de l'Alberta et des visiteurs d'autres institutions. Les sujets peuvent être liés de quelque manière que ce soit à l'intelligence artificielle, qu'il s'agisse de travaux théoriques fondamentaux ou d'applications novatrices de techniques d'IA à de nouveaux domaines et problèmes.

Le 11 septembre, Anna Koop, ingénieure de recherche chez Google DeepMind, a présenté "Experiential Learning with Partition-Tree Weighting and MAML" lors du séminaire sur l'IA.

Résumé :
Apprendre par l'expérience signifie rester adaptatif et sensible aux erreurs au fil du temps. Cependant, l'apprentissage profond basé sur le gradient peut échouer de façon spectaculaire dans un contexte continu et en ligne.

Dans cette présentation, Koop aborde cette lacune en combinant deux méthodes de méta-apprentissage : l'algorithme de mélange d'experts PTW (Partition Tree Weighting) purement en ligne, et une nouvelle variante de la procédure d'initialisation-apprentissage MAML (Model-Agnostic Meta-Learning). Elle démontre l'approche, Replay-MAML PTW, dans une tâche de classification stationnaire par morceaux. Dans ce cadre continu et en ligne, Replay-MAML PTW correspond et même surpasse un apprenant augmenté qui est autorisé à se pré-entraîner hors ligne et qui reçoit une notification explicite lorsque la tâche change. Replay-MAML PTW fournit donc à un apprenant de base les avantages de l'entraînement hors ligne, de l'échantillonnage explicite des tâches et de la notification des limites, le tout pour une augmentation de O(log2 (t)) en termes de calcul et de mémoire. Cela rend l'apprentissage profond plus viable pour l'apprentissage continu entièrement en ligne et agnostique, qui est au cœur de l'intelligence générale.

Regardez la présentation complète ci-dessous :

Vous voulez savoir comment donner un coup de fouet à votre carrière dans l'IA ? En savoir plus sur l'accélérateur de carrière d'Amii pour en savoir plus.