Génération de texte non supervisée par apprentissage à partir de la recherche

Résumé

Dans ce travail, nous proposons TGLS, un nouveau cadre pour la génération de texte non supervisée par apprentissage à partir de la recherche. Nous commençons par appliquer un algorithme de recherche fort (en particulier, le recuit simulé) vers un objectif défini heuristiquement qui estime (approximativement) la qualité des phrases. Ensuite, un modèle génératif conditionnel apprend à partir des résultats de la recherche, et pendant ce temps, lisse le bruit de la recherche. L'alternance entre la recherche et l'apprentissage peut être répétée pour amorcer la performance. Nous démontrons l'efficacité de TGLS sur deux tâches de génération de langage naturel du monde réel, la paraphrase non supervisée et la formalisation de texte. Notre modèle surpasse significativement les méthodes de base non supervisées dans les deux tâches. En particulier, il atteint des performances comparables aux méthodes supervisées fortes pour la génération de paraphrases.