Apprentissage de connaissances spatiales pour la génération de scènes de texte à 3D

Nous abordons l'ancrage du langage naturel à des contraintes spatiales concrètes, et l'inférence de la pragmatique implicite dans les environnements 3D. Nous appliquons notre approche à la tâche de génération de scènes de texte à 3D. Nous présentons une représentation des connaissances spatiales de sens commun et une approche pour les extraire des données de scènes 3D. Dans la génération de scènes texte-à-3D, un utilisateur fournit en entrée un texte en langage naturel à partir duquel nous extrayons des contraintes explicites sur les objets qui doivent apparaître dans la scène. L'innovation principale de ce travail est de montrer comment augmenter ces contraintes explicites avec des connaissances spatiales apprises pour déduire les objets manquants et les dispositions probables des objets dans la scène. Nous démontrons que la connaissance spatiale est utile pour interpréter le langage naturel et nous montrons des exemples de connaissances apprises et de scènes 3D générées.

Remerciements

Nous remercions les réviseurs anonymes pour leurs commentaires réfléchis. Nous reconnaissons avec gratitude le soutien du programme DEFT (Deep Exploration and Filtering of Text) de la Defense Advanced Research Projects Agency (DARPA), dans le cadre du contrat AFRL (Air Force Research Laboratory) n°. FA8750-13-2-0040. Les opinions, résultats, conclusions ou recommandations exprimés dans ce document sont ceux des auteurs et ne reflètent pas nécessairement le point de vue de la DARPA, de l'AFRL ou du gouvernement américain.