Invariance homéomorphique de l'EM : convergence non asymptotique de la divergence KL pour les familles exponentielles via la descente en miroir.

Résumé

La maximisation de l'espérance (EM) est l'algorithme par défaut pour l'ajustement de modèles probabilistes avec des variables manquantes ou latentes, mais nous ne comprenons pas complètement ses propriétés de convergence non asymptotiques. Les travaux précédents montrent des résultats du type "EM converge au moins aussi vite que la descente de gradient" en supposant que les conditions de convergence de la descente de gradient s'appliquent à EM. Cette approche est non seulement vague, dans la mesure où elle ne tient pas compte du fait que EM peut faire plus de progrès qu'une étape de gradient, mais les hypothèses ne tiennent pas pour les exemples classiques de EM comme les mélanges gaussiens. Dans ce travail, nous montrons d'abord que pour le cadre commun des distributions de la famille exponentielle, considérer EM comme un algorithme de descente en miroir conduit à des taux de convergence en divergence de Kullback-Leibler (KL). Ensuite, nous montrons comment la divergence KL est liée à la stationnarité de premier ordre via les divergences de Bregman. Contrairement aux travaux précédents, l'analyse est invariante par rapport au choix de la paramétrisation et tient avec des hypothèses minimales. Nous montrons également des applications de ces idées aux taux de convergence linéaires (et superlinéaires) locaux, à l'EM généralisé et aux distributions de la famille non-exponentielle.