Plan2Scene : Conversion de plans d'étage en scènes 3D

Résumé : Nous abordons la tâche de convertir un plan d'étage et un ensemble de photos associées d'une résidence en un modèle maillé 3D texturé, une tâche que nous appelons Plan2Scene. Notre système 1) convertit une image de plan d'étage en un modèle maillé 3D ; 2) synthétise les textures de surface sur la base des photos d'entrée ; et 3) infère les textures des surfaces non observées en utilisant une architecture de réseau neuronal graphique. Pour entraîner et évaluer notre système, nous créons des ensembles de données de textures de surface en intérieur, et nous augmentons un ensemble de plans d'étage et de photos provenant de travaux antérieurs avec des cultures de surface rectifiées et des annotations supplémentaires. Notre approche relève le défi de produire des textures carrelables pour les surfaces dominantes telles que les sols, les murs et les plafonds à partir d'un ensemble épars de photos non alignées qui ne couvrent que partiellement la résidence. Les évaluations qualitatives et quantitatives montrent que notre système produit des modèles d'intérieur 3D réalistes, surpassant les approches de base sur une série de mesures de qualité de texture et comme mesuré par une étude holistique des utilisateurs.