OPD : Détection de pièces ouvertes en 3D à vue unique

Résumé : Nous abordons la tâche de prédire quelles parties d'un objet peuvent s'ouvrir et comment elles bougent lorsqu'elles le font. L'entrée est une image unique d'un objet, et comme sortie nous détectons quelles parties de l'objet peuvent s'ouvrir, et les paramètres de mouvement décrivant l'articulation de chaque partie ouvrable. Pour aborder cette tâche, nous créons deux ensembles de données d'objets 3D : OPDSynth basé sur des objets synthétiques existants, et OPDReal basé sur des reconstructions RGBD d'objets réels. Nous concevons ensuite OPDRCNN, une architecture neuronale qui détecte les parties ouvrables et prédit leurs paramètres de mouvement. Nos expériences montrent qu'il s'agit d'une tâche difficile, surtout si l'on tient compte de la généralisation entre les catégories d'objets et de la quantité limitée d'informations dans une seule image. Notre architecture surpasse les lignes de base et les travaux antérieurs, en particulier pour les images RVB.