ScanNet : Reconstructions 3D richement annotées de scènes d'intérieur

L'une des conditions essentielles pour exploiter les méthodes d'apprentissage profond supervisé est la disponibilité de grands ensembles de données étiquetées. Malheureusement, dans le contexte de la compréhension de scènes RVB-D, très peu de données sont disponibles - les ensembles de données actuels couvrent une petite gamme de vues de scènes et ont des annotations sémantiques limitées. Pour résoudre ce problème, nous présentons ScanNet, un ensemble de données vidéo RVB-D contenant 2,5 millions de vues dans 1513 scènes annotées avec des poses de caméra 3D, des reconstructions de surface et des segmentations sémantiques. Nous montrons que l'utilisation de ces données permet d'atteindre des performances de pointe dans plusieurs tâches de compréhension de scènes 3D, notamment la classification d'objets 3D, l'étiquetage sémantique de voxels et la recherche de modèles CAO.

Remerciements

Ce projet est financé par Google Tango, Intel, NSF (IIS-1251217 et VEC 1539014/1539099), et une bourse d'études supérieures de Stanford. Nous remercions également Occipital pour le don de capteurs de structure et Nvidia pour les dons de matériel, ainsi que le soutien du Max-Planck Center for Visual Computing et du programme CURIS de Stanford. Nous remercions également Toan Vuong, Joseph Chang et Helen Jiang pour leur aide sur l'application mobile de numérisation et le processus de numérisation, ainsi que Hope Casey-Allen et Duc Nugyen pour les premiers prototypes des interfaces d'annotation. Enfin, nous tenons à remercier tous les bénévoles qui nous ont aidés à numériser et à accéder aux espaces de numérisation.