L'émergence de la sémantique dans les représentations de l'information visuelle par les réseaux neuronaux

Les modèles de vecteurs de mots apprennent la sémantique à travers des corpus. Les réseaux neuronaux convolutionnels (CNN) peuvent apprendre la sémantique à travers les images. Au niveau le plus abstrait, certaines des informations de ces modèles doivent être partagées, car ils modélisent les mêmes phénomènes du monde réel. Nous employons ici des techniques précédemment utilisées pour détecter les représentations sémantiques dans le cerveau humain afin de détecter les représentations sémantiques dans les réseaux CNN. Nous montrons l'accumulation d'informations sémantiques dans les couches du CNN, et découvrons que, pour les images mal classées, la classe correcte peut être récupérée dans les couches intermédiaires d'un CNN.

Remerciements

Cette recherche a été soutenue par l'ICRA (Institut canadien de recherches avancées) et le CRSNG (Conseil de recherches en sciences naturelles et en génie). Cette recherche a été rendue possible en partie grâce au soutien de WestGrid et de Calcul Canada.