Démystifier les GANs MMD

Résumé :

Nous étudions la formation et la performance de réseaux adversariens génératifs utilisant la divergence moyenne maximale (MMD) comme critique, appelés GANs MMD. Notre principale contribution théorique consiste à clarifier la situation du biais dans les fonctions de perte des GAN soulevée par des travaux récents : nous montrons que les estimateurs de gradient utilisés dans le processus d'optimisation des GAN MMD et des GAN de Wasserstein ne sont pas biaisés, mais que l'apprentissage d'un discriminateur basé sur des échantillons conduit à des gradients biaisés pour les paramètres du générateur. Nous abordons également la question du choix du noyau pour la critique MMD, et nous caractérisons le noyau correspondant à la distance d'énergie utilisé pour la critique du GAN de Cramér. Étant une métrique de probabilité intégrale, la MMD bénéficie des stratégies d'entraînement récemment développées pour les GANs de Wasserstein. Dans les expériences, le GAN MMD est capable d'utiliser un réseau critique plus petit que le GAN de Wasserstein, ce qui donne un algorithme d'apprentissage plus simple et plus rapide avec des performances équivalentes. Nous proposons également une mesure améliorée de la convergence du GAN, la distance d'induction du noyau, et montrons comment l'utiliser pour adapter dynamiquement les taux d'apprentissage pendant la formation du GAN.