DeepStellar : analyse quantitative basée sur un modèle des systèmes d'apprentissage profond à état.

Résumé

Le Deep Learning (DL) a connu un succès considérable dans de nombreuses applications de pointe. Cependant, les systèmes d'apprentissage profond de pointe souffrent toujours de problèmes de qualité. Alors que des progrès récents ont été réalisés dans l'analyse des systèmes DL feed-forward, peu d'études ont été faites sur les systèmes DL stateful basés sur les réseaux neuronaux récurrents (RNN), qui sont largement utilisés dans le traitement de l'audio, des langues naturelles et de la vidéo, etc. Dans cet article, nous faisons le tout premier pas vers l'analyse quantitative des systèmes DL basés sur les RNN. Nous modélisons le RNN comme un système abstrait de transition d'état pour caractériser ses comportements internes. Sur la base de ce modèle abstrait, nous concevons deux mesures de similarité des traces et cinq critères de couverture qui permettent l'analyse quantitative des RNN. Nous proposons ensuite deux algorithmes alimentés par les mesures quantitatives pour la détection d'échantillons adverses et la génération de tests guidés par la couverture. Nous évaluons DeepStellar sur quatre systèmes basés sur les RNN couvrant la classification d'images et la reconnaissance automatique de la parole. Les résultats démontrent que le modèle abstrait est utile pour capturer les comportements internes des RNN, et confirment que (1) les mesures de similarité peuvent capturer efficacement les différences entre les échantillons même avec de très petites perturbations (atteignant une précision de 97% pour la détection d'échantillons adverses) et (2) les critères de couverture sont utiles pour révéler les comportements erronés (générant trois fois plus d'échantillons adverses que les tests aléatoires et des centaines de fois plus que l'approche de déroulement).