Série de séminaires sur l'IA 2023 : Zichen Zhang

Le AI Seminar est une réunion hebdomadaire à l'Université de l'Alberta où les chercheurs intéressés par l'intelligence artificielle (AI) peuvent partager leurs recherches. Les présentateurs comprennent à la fois des conférenciers locaux de l'Université de l'Alberta et des visiteurs d'autres institutions. Les sujets peuvent être liés de quelque manière que ce soit à l'intelligence artificielle, qu'il s'agisse de travaux théoriques fondamentaux ou d'applications novatrices de techniques d'IA à de nouveaux domaines et problèmes.

Le 19 mai, Zichen Zhang, étudiant en doctorat à l'université d'Alberta, a présenté "A Simple Decentralized Cross-Entropy Method" lors du séminaire sur l'IA.

Dans cet exposé, Zhang présente une extension simple de la méthode de l'entropie croisée (CEM), une méthode d'optimisation sans gradient fréquemment utilisée pour la planification dans l'apprentissage par renforcement basé sur un modèle (MBRL).

La CEM classique utilise une approche centralisée pour mettre à jour la distribution d'échantillonnage sur la base des résultats d'une opération top-k globale sur les échantillons. Cependant, Zhang démontre que cette approche peut rendre la CEM sujette à des optima locaux, ce qui nuit à l'efficacité de l'échantillonnage. Pour résoudre ce problème, Zhang propose la CEM décentralisée (DecentCEM), une amélioration simple mais efficace de la CEM classique, en utilisant un ensemble d'instances CEM fonctionnant indépendamment les unes des autres, et chacune effectuant une amélioration locale de sa propre distribution d'échantillonnage. Il montre dans une tâche d'optimisation que DecentCEM trouve l'optimum global de manière plus cohérente que la CEM qui utilise une seule ou même un mélange de distributions gaussiennes. Notamment, cette amélioration ne compromet pas la garantie de convergence de la CEM. Appliqué à des problèmes de planification MBRL dans des environnements de contrôle continu, DecentCEM montre une efficacité d'échantillonnage améliorée, avec seulement une augmentation raisonnable du coût de calcul.

Pour ceux qui souhaitent approfondir ce travail, veuillez consulter l'article à l'adresse suivante : https://arxiv.org/abs/2212.08235

Le code est disponible à l'adresse suivante: https://github.com/vincentzhang/decentCEM

Regardez la présentation complète ci-dessous :

Vous voulez savoir comment donner un coup de fouet à votre carrière dans l'IA ? En savoir plus sur l'accélérateur de carrière d'Amii pour en savoir plus.