Sur l'optimalité du méta-apprentissage dans la régression à plan fixe avec régularisation biaisée pondérée

Résumé

Nous considérons une régression linéaire à plan fixe dans le modèle de méta-apprentissage de Baxter (2000) et établissons une limite inférieure sur le risque de transfert (risque sur une tâche nouvellement observée) en échantillon fini dépendant du problème, valable pour tous les estimateurs. De plus, nous prouvons qu'une forme pondérée d'une régularisation biaisée - une technique populaire dans le transfert et le méta-apprentissage - est optimale, c'est-à-dire qu'elle bénéficie d'une limite supérieure dépendante du problème sur le risque correspondant à notre limite inférieure jusqu'à une constante. Ainsi, nos limites caractérisent les problèmes de régression linéaire de méta-apprentissage et révèlent une dépendance fine à la structure de la tâche. Notre caractérisation suggère que dans le régime non-asymptotique, pour un nombre suffisamment grand de tâches, le méta-apprentissage peut être considérablement supérieur à l'apprentissage d'une seule tâche. Enfin, nous proposons une adaptation pratique de l'estimateur optimal par une procédure d'espérance-maximisation et nous montrons son efficacité dans une série d'expériences.