Meta-Descent pour la prédiction continue en ligne

Cet article étudie différentes approches d'adaptation de la taille de pas des vecteurs pour les problèmes de prédiction en ligne non stationnaires et continus. La descente de gradient stochastique de Vanilla peut être considérablement améliorée en adaptant la mise à jour à l'aide d'un vecteur de tailles d'étapes choisies de manière appropriée. De nombreuses méthodes, dont AdaGrad, RMSProp et AMSGrad, conservent des statistiques sur le processus d'apprentissage afin d'approximer une mise à jour de second ordre - une approximation vectorielle du hessien inverse. Une autre famille d'approches utilise la descente méta-gradiente pour adapter les paramètres de la taille de pas afin de minimiser l'erreur de prédiction. Ces stratégies de méta-descente sont prometteuses pour les problèmes non stationnaires, mais n'ont pas été explorées de manière aussi approfondie que les méthodes de quasi-second ordre. Nous dérivons d'abord un algorithme métadescent général et incrémental, appelé AdaGain, conçu pour être applicable à une gamme beaucoup plus large d'algorithmes, y compris ceux avec des mises à jour semi-gradientes ou même ceux avec des accélérations, comme RMSProp. Nous fournissons une comparaison empirique des méthodes des deux familles. Nous concluons que les méthodes des deux familles peuvent être performantes, mais que dans les problèmes de prédiction non stationnaires, les méthodes de méta-descente présentent des avantages. Notre méthode est particulièrement robuste sur plusieurs problèmes de prédiction, et est compétitive avec la méthode de pointe sur un problème de prédiction de séries temporelles à grande échelle sur des données réelles d'un robot mobile.