Échantillonnage par rejet variationnel

L'apprentissage de modèles à variables latentes avec l'inférence variationnelle stochastique est difficile lorsque la postérieure approximative est éloignée de la postérieure réelle, en raison de la variance élevée des estimations du gradient. Nous proposons une nouvelle étape d'échantillonnage par rejet qui élimine les échantillons du postérieur variationnel auxquels le modèle attribue une faible vraisemblance. Notre approche fournit une approximation arbitrairement précise de la vraie postérieure au prix d'un calcul supplémentaire. En utilisant un nouvel estimateur de gradient pour la distribution de proposition non normalisée résultante, nous obtenons des améliorations moyennes de 3,71 nats et de 0,21 nats par rapport aux solutions de pointe à échantillon unique et à échantillons multiples, respectivement, pour l'estimation des log-vraisemblances marginales à l'aide de réseaux de croyance sigmoïdes sur le jeu de données MNIST.