L'analyse PAC-Bayes au-delà des limites habituelles

Résumé

Nous nous concentrons sur un modèle d'apprentissage stochastique où l'apprenant observe un ensemble fini d'exemples d'entraînement et où la sortie du processus d'apprentissage est une distribution dépendante des données sur un espace d'hypothèses. La distribution dépendante des données apprise est ensuite utilisée pour faire des prédictions aléatoires, et le thème de haut niveau abordé ici est la garantie de la qualité des prédictions sur des exemples qui n'ont pas été vus pendant la formation, c'est-à-dire la généralisation. Dans ce contexte, la quantité inconnue d'intérêt est le risque attendu du prédicteur aléatoire dépendant des données, pour lequel des limites supérieures peuvent être dérivées via une analyse PAC-Bayes, conduisant à des limites PAC-Bayes.

Plus précisément, nous présentons une inégalité PAC-Bayes de base pour les noyaux stochastiques, à partir de laquelle on peut dériver des extensions de diverses bornes PAC-Bayes connues ainsi que de nouvelles bornes. Nous clarifions le rôle des exigences de prieurs fixes "sans données", de pertes limitées et de données i.i.d.. Nous soulignons que ces exigences ont été utilisées pour établir une limite supérieure d'un terme de moment exponentiel, alors que le théorème de base de PAC-Bayes reste valide sans ces restrictions. Nous présentons trois limites qui illustrent l'utilisation de prieurs dépendant des données, dont une pour la perte carrée non bornée.