Méthodes de réduction de la variance pour l'apprentissage automatique

Résumé

L'optimisation stochastique est au cœur de l'apprentissage automatique, et sa pierre angulaire est la descente de gradient stochastique (SGD), une méthode introduite il y a plus de 60 ans. Ces huit dernières années ont vu un nouveau développement passionnant : la réduction de la variance pour les méthodes d'optimisation stochastique. Ces méthodes de réduction de la variance (RV) excellent dans les contextes où plus d'un passage par les données d'entraînement est autorisé, atteignant une convergence plus rapide que la SGD en théorie et en pratique. Ces accélérations soulignent le regain d'intérêt pour les méthodes VR et l'augmentation rapide du nombre de travaux sur ce sujet. Cette revue couvre les principes clés et les principaux développements des méthodes VR pour l'optimisation avec des ensembles de données finis et s'adresse à des lecteurs non experts. Nous nous concentrons principalement sur le cadre convexe et laissons des indications aux lecteurs intéressés par les extensions pour la minimisation des fonctions non convexes.