Une analyse empirique complète sur l'enrichissement sémantique inter-domaines pour la détection du langage dépressif

Résumé :

Nous analysons le processus de création de représentations de caractéristiques d'intégration de mots conçues pour une tâche d'apprentissage lorsque les données annotées sont rares, par exemple, dans la détection du langage dépressif à partir de Tweets. Nous commençons par un riche encastrement de mots pré-entraîné à partir d'un grand ensemble de données générales, qui est ensuite complété par des encastrements appris à partir d'un ensemble de données de domaine beaucoup plus petit et plus spécifique par le biais d'un simple mécanisme de mise en correspondance non linéaire. Nous avons également expérimenté plusieurs autres méthodes plus sophistiquées de ce type de mise en correspondance, notamment plusieurs méthodes basées sur des encodeurs automatiques et des fonctions de perte personnalisées qui apprennent des représentations d'intégration en apprenant progressivement à se rapprocher des mots de sémantique similaire et à s'éloigner des mots de sémantique différente. Nos représentations renforcées capturent mieux la sémantique du domaine de la dépression, car elles combinent la sémantique apprise dans le domaine spécifique et la couverture des mots du langage général. Nous présentons également une analyse comparative des performances de nos représentations d'intégration de mots avec un modèle simple de sac de mots, des lexiques de sentiments et psycholinguistiques bien connus, et une intégration de mots générale pré-entraînée. Lorsqu'elles sont utilisées comme représentations de caractéristiques pour plusieurs méthodes d'apprentissage automatique différentes, y compris des modèles d'apprentissage profond dans une tâche d'identification de Tweets dépressifs, nous montrons que nos représentations d'intégration de mots augmentées obtiennent un score F1 significativement meilleur que les autres, en particulier lorsqu'elles sont appliquées à un ensemble de données de haute qualité. Nous présentons également plusieurs tests d'ablation de données qui confirment l'efficacité de nos techniques d'augmentation.