Une approche d'apprentissage par imitation pour le parsing non supervisé

Récemment, il y a eu un intérêt croissant pour les analyseurs syntaxiques non supervisés qui optimisent les objectifs orientés sémantiquement, généralement en utilisant l'apprentissage par renforcement. Malheureusement, les arbres appris ne correspondent souvent pas bien aux arbres syntaxiques réels. Shen et al. (2018) proposent un mécanisme d'attention structurée pour la modélisation du langage (PRPN), qui induit de meilleures structures syntaxiques mais repose sur des heuristiques ad hoc. En outre, leur modèle manque d'interprétabilité car il n'est pas fondé sur des actions d'analyse syntaxique. Dans notre travail, nous proposons une approche d'apprentissage par imitation pour l'analyse syntaxique non supervisée, où nous transférons la connaissance syntaxique induite par le PRPN à un modèle Tree-LSTM avec des actions d'analyse discrètes. Sa politique est ensuite raffinée par apprentissage Gumbel-Softmax vers un objectif orienté sémantiquement. Nous évaluons notre approche sur le jeu de données All Natural Language Inference et montrons qu'elle atteint un nouvel état de l'art en termes de score F d'analyse syntaxique, surpassant nos modèles de base, y compris le PRPN.

Remerciements

Nous tenons à remercier Yikang Shen et Zhouhan Lin du MILA pour leurs discussions fructueuses. FK a été soutenu par le Leverhulme Trust par le biais de l'International Academic Fellowship IAF-2017-019.