Extraction d'automates pondérés guidée par la décision à partir de réseaux neuronaux récurrents

Résumé

Les réseaux neuronaux récurrents (RNN) ont démontré leur efficacité dans l'apprentissage et le traitement de données séquentielles (par exemple, la parole et le langage naturel). Cependant, en raison de la nature de boîte noire des réseaux neuronaux, la compréhension de la logique de décision des RNN est assez difficile. Des progrès récents ont été réalisés pour approximer le comportement d'un RNN par des automates pondérés. Ils offrent une meilleure interprétabilité, mais souffrent toujours d'une faible évolutivité. Dans cet article, nous proposons une nouvelle approche pour extraire les automates pondérés en se basant sur les informations de décision et de contexte d'un RNN cible. En particulier, nous identifions les modèles de ses décisions prédictives par étapes afin d'instruire la formation d'états d'automates. De plus, nous proposons une méthode de composition d'états pour améliorer la prise en compte du contexte du modèle extrait. Nos évaluations approfondies sur des tâches RNN typiques, y compris le modèle de langage et la classification, démontrent l'efficacité et l'avantage de notre méthode par rapport à l'état de l'art. Elle permet d'obtenir une approximation précise d'un RNN, même pour des tâches à grande échelle.