Segmentation d'instance basée sur des propositions avec supervision par points

Résumé

Les méthodes de segmentation d'instances nécessitent souvent des étiquettes coûteuses par pixel. Nous proposons une méthode appelée WISE-Net qui ne nécessite que des annotations au niveau du point. Pendant l'apprentissage, le modèle n'a accès qu'à une seule étiquette de pixel par objet, mais la tâche consiste à produire des masques de segmentation complets. Pour relever ce défi, nous construisons un réseau avec deux branches : (1) un réseau de calage à 10 (L-Net) qui prédit la localisation de chaque objet ; et (2) un réseau d'intégration (E-Net) qui apprend un espace d'intégration où les pixels du même objet sont proches. Les masques de segmentation pour les objets localisés sont obtenus en regroupant les pixels avec des enchâssements similaires. Nous évaluons notre approche sur les jeux de données PASCAL VOC, COCO, KITTI et CityScapes. Les expériences montrent que notre méthode (1) obtient des résultats compétitifs par rapport aux méthodes entièrement supervisées dans certains scénarios ; (2) surpasse les méthodes entièrement et faiblement supervisées avec un budget d'annotation fixe ; et (3) établit une première base de référence solide pour la segmentation d'instances avec supervision au niveau du point.