Supervision de points de cheminement alignés sur la langue (LAW) pour la navigation par vision et langage dans des environnements continus

Résumé : Dans la tâche de navigation par vision et langage (VLN), un agent incarné navigue dans un environnement 3D en suivant des instructions en langage naturel. Un des défis de cette tâche est de gérer les scénarios de " hors chemin " où un agent s'écarte d'un chemin de référence. Les travaux antérieurs supervisent l'agent avec des actions basées sur le chemin le plus court entre l'emplacement de l'agent et le but, mais cette supervision orientée vers le but n'est souvent pas en accord avec l'instruction. De plus, les mesures d'évaluation employées par les travaux antérieurs ne permettent pas de déterminer dans quelle mesure l'agent est capable de suivre une instruction linguistique. Dans ce travail, nous proposons un schéma de supervision aligné sur la langue, simple et efficace, et une nouvelle métrique qui mesure le nombre de sous-instructions que l'agent a complétées pendant la navigation.