DeepGauge : Critères de test de multi-granularité pour les systèmes d'apprentissage profond

Résumé

L'apprentissage profond (DL) définit un nouveau paradigme de programmation axé sur les données qui construit la logique interne d'un réseau de neurones élaboré à partir d'un ensemble de données d'apprentissage. Nous avons constaté une large adoption de l'apprentissage profond dans de nombreux scénarios de sécurité critique. Cependant, une multitude d'études ont montré que les systèmes DL les plus récents souffrent de diverses vulnérabilités qui peuvent avoir de graves conséquences lorsqu'ils sont appliqués dans le monde réel. Actuellement, l'adéquation des tests d'un système DL est généralement mesurée par la précision des données de test. Compte tenu de la limitation de l'accès à des données de test de haute qualité, une bonne précision des données de test peut difficilement donner confiance dans l'adéquation des tests et la généralité des systèmes DL. Contrairement aux systèmes logiciels traditionnels dont la logique et la fonctionnalité sont claires et contrôlables, le manque d'interprétabilité d'un système DL rend l'analyse du système et la détection des défauts difficiles, ce qui peut potentiellement entraver son déploiement dans le monde réel. Dans cet article, nous proposons DeepGauge, un ensemble de critères de test multi-granularité pour les systèmes DL, qui vise à donner une représentation à multiples facettes du banc d'essai. L'évaluation approfondie des critères de test que nous proposons est démontrée sur deux ensembles de données bien connus, cinq systèmes DL et avec quatre techniques d'attaque adverses de pointe contre DL. L'utilité potentielle de DeepGauge jette un éclairage sur la construction de systèmes DL plus génériques et plus robustes.