Mirror3D : Raffinement de la profondeur pour les surfaces en miroir

Résumé : Malgré les progrès récents en matière de détection de la profondeur et de reconstruction 3D, les surfaces miroirs sont une source importante d'erreurs. Pour résoudre ce problème, nous créons le jeu de données Mirror3D : un jeu de données de plans miroir 3D basé sur trois jeux de données RGBD (Matterpot3D, NYUv2 et ScanNet) contenant 7 011 masques d'instance de miroir et plans 3D. Nous développons ensuite Mirror3DNet : un module qui affine la profondeur brute du capteur ou la profondeur estimée pour corriger les erreurs sur les surfaces miroir. Notre idée principale est d'estimer le plan miroir 3D en fonction de l'entrée RVB et du contexte de profondeur environnant, et d'utiliser cette estimation pour régresser directement la profondeur de la surface miroir. Nos expériences montrent que Mirror3DNet atténue de manière significative les erreurs provenant d'une variété de données de profondeur d'entrée, y compris la profondeur brute du capteur et les méthodes d'estimation ou de complétion de la profondeur.