L'ANA à SemEval-2020 Tâche 4 : apprentissage mUlti-task pour le raisonnement cOmmensense (UNION)

Résumé

Dans cet article, nous décrivons notre système mUlti-task learNIng for cOmmonsense reasoNing (UNION) soumis pour la tâche C de la tâche 4 de SemEval2020, qui consiste à générer une raison expliquant pourquoi une fausse déclaration donnée est non-sensée. Cependant, nous avons constaté dans les premières expériences que des adaptations simples telles que le réglage fin de GPT2 produisent souvent des générations ennuyeuses et non informatives (par exemple, de simples négations). Afin de générer des explications plus significatives, nous proposons UNION, un cadre unifié de bout en bout, pour utiliser plusieurs ensembles de données de sens commun existants afin de permettre à un modèle d'apprendre plus de dynamique dans le cadre du raisonnement de sens commun. Afin d'effectuer une sélection de modèles de manière efficace, précise et rapide, nous proposons également un couple de métriques d'évaluation automatique auxiliaire afin que nous puissions comparer de manière approfondie les modèles de différentes perspectives. Le système que nous avons soumis obtient non seulement de bonnes performances dans les métriques proposées, mais il surpasse également ses concurrents avec le score le plus élevé de 2,10 pour l'évaluation humaine, tout en conservant un score BLEU de 15,7. Notre code est disponible publiquement sur GitHub.