Descente par gradient naturel structuré traçable utilisant des paramétrages locaux

Résumé :

La descente par gradient naturel (NGD) sur les espaces de paramètres structurés (par exemple, les covariances à faible rang) est difficile à calculer en raison des calculs difficiles de la matrice de Fisher. Nous abordons ce problème en utilisant \emph{coordonnées locales des paramètres} pour obtenir une méthode NGD flexible et efficace qui fonctionne bien pour une grande variété de paramétrisations structurées. Nous montrons quatre applications où notre méthode (1) généralise la stratégie exponentielle d'évolution naturelle, (2) récupère les algorithmes existants de type Newton, (3) produit de nouveaux algorithmes structurés du second ordre, et (4) donne de nouveaux algorithmes pour apprendre les covariances des distributions gaussiennes et basées sur Wishart. Nous montrons des résultats sur un éventail de problèmes d'apprentissage profond, d'inférence variationnelle et de stratégies d'évolution. Notre travail ouvre une nouvelle direction pour les méthodes géométriques structurées évolutives.