Poste de recherche

Invariance homéomorphique de l'EM : convergence non asymptotique de la divergence KL pour les familles exponentielles via la descente en miroir.

Résumé

La maximisation de l'espérance (EM) est l'algorithme par défaut pour l'ajustement de modèles probabilistes avec des variables manquantes ou latentes, mais nous ne comprenons pas complètement ses propriétés de convergence non asymptotiques. Les travaux précédents montrent des résultats du type "EM converge au moins aussi vite que la descente de gradient" en supposant que les conditions de convergence de la descente de gradient s'appliquent à EM. Cette approche est non seulement vague, dans la mesure où elle ne tient pas compte du fait que EM peut faire plus de progrès qu'une étape de gradient, mais les hypothèses ne tiennent pas pour les exemples classiques de EM comme les mélanges gaussiens. Dans ce travail, nous montrons d'abord que pour le cadre commun des distributions de la famille exponentielle, considérer EM comme un algorithme de descente en miroir conduit à des taux de convergence en divergence de Kullback-Leibler (KL). Ensuite, nous montrons comment la divergence KL est liée à la stationnarité de premier ordre via les divergences de Bregman. Contrairement aux travaux précédents, l'analyse est invariante par rapport au choix de la paramétrisation et tient avec des hypothèses minimales. Nous montrons également des applications de ces idées aux taux de convergence linéaires (et superlinéaires) locaux, à l'EM généralisé et aux distributions de la famille non-exponentielle.

Derniers documents de recherche

Connectez-vous avec la communauté

Participez à l'écosystème croissant de l'IA en Alberta ! Les demandes de conférenciers, de parrainage et de lettres de soutien sont les bienvenues.

Explorer la formation et l'enseignement supérieur

Vous êtes curieux de connaître les possibilités d'études auprès de l'un de nos chercheurs ? Vous voulez plus d'informations sur les possibilités de formation ?

Exploiter le potentiel de l'intelligence artificielle

Faites-nous part de vos objectifs et de vos défis concernant l'adoption de l'IA dans votre entreprise. Notre équipe Investissements & Partenariats vous contactera sous peu !