Du langage à la langue : Dans quelle mesure la représentation des stimuli linguistiques non sensés par un LSTM est-elle similaire à celle du cerveau ?

Les représentations générées par de nombreux modèles du langage (encastrements de mots, réseaux neuronaux récurrents et transformateurs) sont en corrélation avec l'activité cérébrale enregistrée pendant la lecture. Cependant, ces résultats de décodage sont généralement basés sur la réaction du cerveau à des stimuli linguistiques syntaxiques et sémantiques. Dans cette étude, nous avons posé la question suivante : comment un modèle de langage LSTM (mémoire à long terme), formé (en général) sur un langage sémantiquement et syntaxiquement intact, représente-t-il un échantillon de langage avec des informations sémantiques ou syntaxiques dégradées ? La représentation LSTM ressemble-t-elle toujours à la réaction du cerveau ? Nous avons constaté que, même pour certains types de langage non sensé, il existe une relation statistiquement significative entre l'activité du cerveau et les représentations d'un LSTM. Cela indique que, au moins dans certains cas, les LSTM et le cerveau humain traitent les données non sensées de manière similaire.