Résumé

Nous abordons le défi de l'optimisation des méta-paramètres (c'est-à-dire des hyperparamètres) dans les algorithmes d'apprentissage automatique, un facteur critique qui influence l'efficacité de l'apprentissage et la performance du modèle. S'éloignant des méthodes traditionnelles de recherche de méta-paramètres, coûteuses en termes de calcul, nous présentons le cadre MetaOptimize qui ajuste dynamiquement les méta-paramètres, en particulier les tailles de pas (également connues sous le nom de taux d'apprentissage), au cours de la formation. Plus précisément, MetaOptimize peut s'adapter à n'importe quel algorithme d'optimisation du premier ordre, en ajustant les tailles de pas à la volée pour minimiser une forme spécifique de regret qui tient compte de l'effet à long terme des tailles de pas sur l'entraînement, par le biais d'une somme actualisée des pertes futures. Nous présentons également des variantes peu complexes de MetaOptimize qui, en conjonction avec son adaptabilité à de multiples algorithmes d'optimisation, démontrent des performances compétitives par rapport à celles des meilleurs programmes de taux d'apprentissage créés à la main dans diverses applications d'apprentissage automatique.