Roominoes : Génération de nouveaux plans d'étage 3D à partir de pièces 3D existantes

Résumé :

Les ensembles de données réalistes de scènes d'intérieur en 3D ont permis de réaliser récemment d'importants progrès dans les domaines de la vision par ordinateur, de la compréhension des scènes, de la navigation autonome et de la reconstruction 3D. Mais l'échelle, la diversité et la personnalisation des ensembles de données existants sont limitées, et il est long et coûteux de numériser et d'annoter davantage. Heureusement, la combinatoire est de notre côté : il y a suffisamment de pièces individuelles dans les ensembles de données de scènes 3D existants, s'il n'y avait qu'un moyen de les recombiner dans de nouveaux agencements. Dans cet article, nous proposons la tâche de générer de nouveaux plans d'étage 3D à partir de pièces 3D existantes. Nous identifions trois sous-tâches de ce problème : la génération d'un plan 2D, la recherche de pièces 3D compatibles et la déformation des pièces 3D pour les adapter au plan. Nous discutons ensuite de différentes stratégies pour résoudre le problème et concevons deux pipelines représentatifs : l'un utilise les plans d'étage 2D disponibles pour guider la sélection et la déformation des pièces 3D ; l'autre apprend à récupérer un ensemble de pièces 3D compatibles et à les combiner dans de nouveaux agencements. Nous concevons un ensemble de métriques qui évaluent les résultats générés par rapport à chacune des trois sous-tâches et nous montrons que les différentes méthodes sacrifient la performance sur ces sous-tâches. Enfin, nous examinons les tâches en aval qui bénéficient des scènes 3D générées et discutons des stratégies de sélection des méthodes les plus appropriées aux exigences de ces tâches.