DP-EM : Maximisation de l'espérance différentiellement privée

Résumé :

La nature itérative de l'algorithme de maximisation des espérances (EM) présente un défi pour l'estimation préservant la confidentialité, car chaque itération augmente la quantité de bruit nécessaire. Nous proposons un algorithme EM privé pratique qui surmonte ce défi en utilisant deux innovations : (1) une nouvelle formulation de perturbation des moments pour l'EM différentiellement privé (DP-EM), et (2) l'utilisation de deux méthodes de composition récemment développées pour limiter le "coût" de la confidentialité de multiples itérations EM : le comptable des moments (MA) et la confidentialité différentielle concentrée à moyenne nulle (zCDP). MA et zCDP lient la fonction génératrice de moments de la variable aléatoire de perte de confidentialité et atteignent une limite de queue raffinée, ce qui réduit efficacement la quantité de bruit additif. Nous présentons des résultats empiriques montrant les avantages de notre approche, ainsi que des performances similaires entre ces deux méthodes de composition dans le cadre du DP-EM pour les modèles de mélange gaussien. Notre approche peut être facilement étendue à de nombreux algorithmes d'apprentissage itératif, ce qui ouvre la voie à de nouvelles perspectives intéressantes.