Des certificats de risque plus stricts pour les réseaux neuronaux

Résumé

Cet article présente une étude empirique concernant la formation de réseaux neuronaux probabilistes à l'aide d'objectifs de formation dérivés des limites PAC-Bayes. Dans le contexte des réseaux neuronaux probabilistes, le résultat de la formation est une distribution de probabilité sur les poids du réseau. Nous présentons deux objectifs de formation, utilisés ici pour la première fois en relation avec la formation de réseaux neuronaux. Ces deux objectifs de formation sont dérivés de limites PAC-Bayes serrées. Nous réimplémentons également un objectif de formation précédemment utilisé, basé sur une limite PAC-Bayes classique, afin de comparer les propriétés des prédicteurs appris à l'aide des différents objectifs de formation. Nous calculons des certificats de risque qui sont valables sur tous les exemples non vus pour les prédicteurs appris. Nous expérimentons également différents types de prières sur les poids (prières sans données et dépendantes des données) et les architectures de réseaux neuronaux. Nos expériences sur MNIST et CIFAR-10 montrent que nos méthodes d'apprentissage produisent des erreurs compétitives sur les ensembles de test et des limites de risque non-vacues avec des valeurs beaucoup plus serrées que les résultats précédents dans la littérature, ce qui est prometteur non seulement pour guider l'algorithme d'apprentissage en limitant le risque mais aussi pour la sélection de modèles. Ces observations suggèrent que les méthodes étudiées ici pourraient être de bons candidats pour l'apprentissage auto-certifié, dans le sens de certifier le risque sur n'importe quelles données non vues sans avoir besoin de protocoles de fractionnement de données.