Apprentissage auto-supervisé avec maximisation de la dépendance du noyau

Résumé :

Nous abordons l'apprentissage auto-supervisé des représentations d'images sous l'angle de la dépendance statistique, en proposant l'apprentissage auto-supervisé avec le critère d'indépendance de Hilbert-Schmidt (SSL-HSIC). Le SSL-HSIC maximise la dépendance entre les représentations des versions transformées d'une image et l'identité de l'image, tout en minimisant la variance noyautée de ces caractéristiques. Ce cadre d'apprentissage auto-supervisé permet une nouvelle compréhension de l'InfoNCE, une limite inférieure variationnelle de l'information mutuelle (IM) entre différentes transformations. Alors que l'information mutuelle elle-même est connue pour avoir des pathologies qui peuvent entraîner l'apprentissage de représentations sans signification, sa limite se comporte beaucoup mieux : nous montrons qu'elle se rapproche implicitement de SSL-HSIC (avec un régularisateur légèrement différent). Notre approche nous donne également un aperçu de BYOL, puisque SSL-HSIC apprend de manière similaire des voisinages locaux d'échantillons. SSL-HSIC nous permet d'optimiser directement la dépendance statistique en un temps linéaire dans la taille du lot, sans hypothèses restrictives sur les données ou estimateurs indirects d'information mutuelle. Entraîné avec ou sans réseau cible, SSL-HSIC correspond à l'état actuel de l'art pour l'évaluation linéaire standard sur ImageNet, l'apprentissage semi-supervisé et le transfert vers d'autres tâches de classification et de vision telles que la segmentation sémantique, l'estimation de la profondeur et la reconnaissance d'objets.