Série de séminaires sur l'IA 2022 : Puyuan Liu

Le AI Seminar est une réunion hebdomadaire à l'Université de l'Alberta où les chercheurs intéressés par l'intelligence artificielle (AI) peuvent partager leurs recherches. Les présentateurs comprennent à la fois des conférenciers locaux de l'Université de l'Alberta et des visiteurs d'autres institutions. Les sujets peuvent être liés de quelque manière que ce soit à l'intelligence artificielle, qu'il s'agisse de travaux théoriques fondamentaux ou d'applications novatrices de techniques d'IA à de nouveaux domaines et problèmes.

Le 26 août, Puyuan Liu - un étudiant en maîtrise de l'Université d'Alberta - a présenté "Non-Autoregressive Unsupervised Summarization with Length-Control Algorithms" au séminaire sur l'intelligence artificielle.

Le résumé de texte vise à générer un bref résumé pour un texte d'entrée et a de nombreuses applications dans le monde réel, comme la génération de titres. Les modèles de résumé de l'état de l'art sont principalement supervisés ; ils nécessitent de grands corpus d'entraînement étiquetés et ne peuvent donc pas être appliqués à des domaines moins populaires, où les données appariées sont rares, par exemple les langues moins parlées.

Dans ce séminaire, Liu présente un modèle de résumé non supervisé non autorégressif, qui ne nécessite pas de données parallèles pour l'apprentissage. L'approche effectue d'abord une recherche basée sur l'édition vers un score défini de manière heuristique, et génère un résumé comme pseudo-vérité. Ensuite, elle forme un transformateur non autorégressif à base de codeur uniquement, en fonction des résultats de la recherche. En outre, l'équipe de Liu conçoit deux algorithmes de contrôle de la longueur pour le modèle, qui effectuent une programmation dynamique sur la sortie du modèle et sont capables de contrôler explicitement le nombre de mots et de caractères dans le résumé généré, respectivement.

Les expériences menées sur deux ensembles de données de référence montrent que l'approche atteint des performances de pointe pour le résumé non supervisé, tout en améliorant considérablement l'efficacité de l'inférence. De plus, les algorithmes de contrôle de la longueur sont capables d'effectuer une génération de transfert de longueur, c'est-à-dire de générer des résumés de longueurs différentes de la cible d'entraînement.

Regardez la présentation complète ci-dessous :

Tenez-vous au courant de la série de séminaires sur l'IA en vous inscrivant à la liste de diffusion.

Découvrez comment Amii fait progresser la recherche de pointe en matière d'intelligence artificielle et d'apprentissage automatique : visitez notre site Web. Recherche page.