Une analyse de l'apprentissage méta en fonction de la distribution

Résumé :

Un problème clé dans la théorie du méta-apprentissage est de comprendre comment les distributions de tâches influencent le risque de transfert, l'erreur attendue d'un méta-apprenant sur une nouvelle tâche tirée de la distribution de tâches inconnue. Dans cet article, nous nous concentrons sur la régression linéaire à plan fixe avec un bruit gaussien et une distribution gaussienne des tâches (ou des paramètres). Nous donnons des limites inférieures dépendantes de la distribution sur le risque de transfert de tout algorithme, et nous montrons également qu'une nouvelle version pondérée de la méthode de régression régularisée biaisée est capable de correspondre à ces limites inférieures jusqu'à un facteur constant fixe. Notamment, la pondération est dérivée de la covariance de la distribution gaussienne des tâches. Dans l'ensemble, nos résultats fournissent une caractérisation précise de la difficulté du méta-apprentissage dans ce cadre gaussien. Bien que ce problème puisse paraître simple, nous montrons qu'il est suffisamment riche pour unifier les courants de méta-apprentissage " partage de paramètres " et " apprentissage de représentation " ; en particulier, l'apprentissage de représentation est obtenu comme le cas particulier où la matrice de covariance de la distribution des tâches est inconnue. Dans ce cas, nous proposons d'adopter la méthode EM, qui s'avère efficace pour les mises à jour dans notre cas. L'article est complété par une étude empirique de EM. En particulier, nos résultats expérimentaux montrent que l'algorithme EM peut atteindre la limite inférieure lorsque le nombre de tâches augmente, tandis que l'algorithme réussit également à rivaliser avec ses alternatives lorsqu'il est utilisé dans un contexte d'apprentissage de représentation.