Habitat-Matterport 3D Dataset (HM3D) : 1000 environnements 3D à grande échelle pour l'IA incarnée

Résumé :

Nous présentons le jeu de données Habitat-Matterport 3D (HM3D). HM3D est un jeu de données à grande échelle comprenant 1 000 reconstructions 3D à l'échelle de bâtiments provenant d'un ensemble diversifié de lieux du monde réel. Chaque scène du jeu de données consiste en une reconstruction texturée en maillage 3D d'intérieurs tels que des résidences à plusieurs étages, des magasins et d'autres espaces intérieurs privés.
HM3D surpasse les ensembles de données existants disponibles pour la recherche universitaire en termes d'échelle physique, d'exhaustivité de la reconstruction et de fidélité visuelle. HM3D contient 112,5k m^2 d'espace navigable, ce qui est 1,4 à 3,7 fois plus grand que d'autres jeux de données à l'échelle des bâtiments tels que MP3D et Gibson. Par rapport aux jeux de données 3D photoréalistes existants tels que Replica, MP3D, Gibson et ScanNet, les images rendues à partir de HM3D ont une fidélité visuelle supérieure de 20 à 85 % par rapport aux images de contrepartie capturées avec des caméras réelles, et les mailles de HM3D présentent 34 à 91 % d'artefacts en moins dus à une reconstruction incomplète des surfaces.
L'échelle, la fidélité et la diversité accrues de HM3D ont un impact direct sur les performances des agents d'intelligence artificielle formés à l'aide de cette technologie. En fait, nous constatons que HM3D est "parapharmaceutique" dans le sens suivant : les agents formés à la navigation PointGoal sur HM3D obtiennent les meilleures performances, qu'ils soient évalués sur HM3D, Gibson ou MP3D. Aucune affirmation similaire ne peut être faite concernant la formation sur d'autres ensembles de données. Les agents PointNav formés sur HM3D atteignent une performance de 100% sur le jeu de données Gibson-test, ce qui suggère qu'il est peut-être temps de retirer ce jeu de données d'épisode.