Apprentissage Q préservant la confidentialité avec bruit fonctionnel dans les espaces continus

Nous considérons des algorithmes différentiellement privés pour l'apprentissage par renforcement dans des espaces continus, tels que les fonctions de récompense voisines sont indiscernables. Ceci protège l'information sur la récompense d'être exploitée par des méthodes telles que l'apprentissage par renforcement inverse. Les études existantes qui garantissent la confidentialité différentielle ne sont pas extensibles aux espaces d'état infinis, car le niveau de bruit pour garantir la confidentialité s'échelonne en conséquence à l'infini. Notre objectif est de protéger l'approximateur de la fonction de valeur, sans tenir compte du nombre d'états interrogés par la fonction. Nous y parvenons en ajoutant un bruit fonctionnel à la fonction de valeur de manière itérative lors de l'apprentissage. Nous montrons des garanties rigoureuses de confidentialité par une série d'analyses sur le noyau de l'espace de bruit, la limite probabiliste de ces échantillons de bruit et la composition sur les itérations. Nous comprenons mieux l'analyse de l'utilité en prouvant l'optimalité approximative de l'algorithme lorsque l'espace d'état est discret. Les expériences corroborent nos résultats théoriques et montrent une amélioration par rapport aux approches existantes.

Remerciements

Nous tenons à remercier Ruitong Huang, qui nous a fourni des informations utiles sur l'analyse de la composition et la conception de l'algorithme, et Kry Yik Chau Lui, qui nous a suggéré d'étendre notre approche aux espaces de Sobolev de haute dimension.