Differentially Private Mean Embeddings with Random Features (DP-MERF) pour la génération de données synthétiques simples et pratiques

Résumé :

Nous présentons un paradigme de génération de données différentiellement privées utilisant des représentations de caractéristiques aléatoires des noyaux d'intégration moyenne lors de la comparaison de la distribution des données réelles avec celle des données synthétiques. Nous exploitons les représentations de caractéristiques aléatoires pour deux avantages importants. Premièrement, nous exigeons un coût de confidentialité très faible pour l'entraînement des modèles génératifs profonds. En effet, contrairement aux mesures de distance basées sur le noyau qui nécessitent le calcul de la matrice du noyau sur toutes les paires de points de données réelles et synthétiques, nous pouvons détacher le terme dépendant des données du terme dépendant uniquement des données synthétiques. Par conséquent, nous devons perturber le terme dépendant des données une fois pour toutes et l'utiliser jusqu'à la fin de l'apprentissage du générateur. Deuxièmement, nous pouvons obtenir une sensibilité analytique de l'intégration de la moyenne du noyau car les caractéristiques aléatoires sont limitées par la norme par construction. Cela élimine la nécessité d'une recherche d'hyperparamètres pour une norme d'écrêtage afin de gérer la sensibilité inconnue d'un réseau d'encodeurs lorsqu'on traite des données à haute dimension. Nous proposons plusieurs variantes de notre algorithme, differentially private mean embeddings with random features (DP-MERF) pour générer (a) des données tabulaires hétérogènes,(b) des caractéristiques d'entrée et des étiquettes correspondantes conjointement ; et (c) des données à haute dimension. Notre algorithme obtient un meilleur compromis entre confidentialité et utilité que les méthodes existantes testées sur plusieurs ensembles de données.