Rechercher et apprendre : Améliorer la couverture sémantique pour la génération de données vers le texte

Résumé : Les systèmes de génération de données en texte ont pour but de générer des descriptions textuelles à partir de données d'entrée (souvent représentées sous forme de tableaux). Un système typique utilise d'énormes échantillons d'entraînement pour apprendre la correspondance entre les tableaux et les textes. Cependant, les grands ensembles d'apprentissage sont coûteux à obtenir, ce qui limite l'applicabilité de ces approches dans les scénarios du monde réel. Dans ce travail, nous nous concentrons sur la génération de données en texte en quelques clics. Nous observons que, bien que des modèles de langage pré-entraînés et finement ajustés puissent générer des phrases plausibles, ils souffrent d'un problème de faible couverture sémantique dans le cadre de quelques clichés. En d'autres termes, les emplacements d'entrée importants ont tendance à manquer dans le texte généré. À cette fin, nous proposons une approche de recherche et d'apprentissage qui s'appuie sur des modèles de langage prétraités mais qui insère les créneaux manquants pour améliorer la couverture sémantique. Nous affinons ensuite notre système en fonction des résultats de la recherche afin de lisser le bruit de la recherche, ce qui permet d'obtenir un texte de meilleure qualité et d'améliorer l'efficacité de l'inférence dans une large mesure. Les expériences montrent que notre modèle atteint des performances élevées sur les ensembles de données E2E et WikiBio. En particulier, nous couvrons 98,35 % des créneaux d'entrée sur E2E, ce qui atténue largement le problème de faible couverture.