Variational Bayes en milieu privé (VIPS)

Résumé :

De nombreuses applications de l'analyse bayésienne des données impliquent des informations sensibles telles que des documents personnels ou des dossiers médicaux, ce qui motive des méthodes garantissant la protection de la vie privée. Nous présentons un cadre général de protection de la vie privée pour Variational Bayes (VB), une méthode d'inférence bayésienne basée sur l'optimisation largement utilisée. Notre cadre respecte la confidentialité différentielle, le critère de confidentialité de référence, et englobe une grande classe de modèles probabilistes, appelée la famille Conjugate Exponential (CE). Nous observons que nous pouvons directement privatiser les distributions postérieures approximatives de VB pour les modèles de la famille CE, en perturbant les statistiques suffisantes attendues de la vraisemblance des données complètes. Pour une classe largement utilisée de modèles non CE, ceux avec des vraisemblances binomiales, nous montrons comment faire entrer ces modèles dans la famille CE, de sorte que les inférences dans le modèle modifié ressemblent le plus possible à l'algorithme de Bayes variationnel privé, en utilisant le schéma d'augmentation des données de Pólya-Gamma. La nature itérative de l'algorithme Bayes variationnel présente un défi supplémentaire puisque les itérations augmentent la quantité de bruit nécessaire. Nous surmontons ce problème en combinant : (1) une méthode de composition améliorée pour la confidentialité différentielle, appelée le comptable des moments, qui fournit une limite stricte sur le coût de confidentialité des itérations multiples de VB et diminue ainsi de manière significative la quantité de bruit additif ; et (2) l'effet d'amplification de confidentialité du sous-échantillonnage de mini-batchs à partir de données à grande échelle dans l'apprentissage stochastique. Nous démontrons empiriquement l'efficacité de notre méthode dans des modèles CE et non-CE, notamment l'allocation latente de Dirichlet, la régression logistique bayésienne et ...