Amélioration de la reconnaissance des objets à l'aide de réseaux neuronaux formés pour imiter les propriétés statistiques du cerveau

Résumé :

Les algorithmes de reconnaissance d'objets actuellement à la pointe de la technologie, les réseaux de neurones convolutifs profonds (DCNNs), sont inspirés de l'architecture du système visuel des mammifères, et sont capables de performances de niveau humain pour de nombreuses tâches. Lorsqu'ils sont entraînés pour des tâches de reconnaissance d'objets, il a été démontré que les DCNN développent des représentations cachées qui ressemblent à celles observées dans le système visuel des mammifères (Razavi et Kriegeskorte, 2014 ; Yamins et Dicarlo, 2016 ; Gu et van Gerven, 2015 ; Mcclure et Kriegeskorte, 2016). De plus, les DCNNs entraînés sur des tâches de reconnaissance d'objets sont actuellement parmi les meilleurs modèles que nous ayons du système visuel des mammifères. Cela nous a conduit à émettre l'hypothèse que l'apprentissage des DCNNs pour obtenir des représentations encore plus proches du cerveau pourrait améliorer leurs performances. Pour tester cette hypothèse, nous avons entraîné les DCNNs à une tâche composite, dans laquelle les réseaux ont été entraînés à : (a) classer des images d'objets ; tout en (b) ayant des représentations intermédiaires qui ressemblent à celles observées dans les enregistrements neuronaux du cortex visuel des singes. Comparativement aux réseaux DCNN entraînés uniquement pour la catégorisation d'objets, les réseaux DCNN entraînés à la tâche composite ont obtenu de meilleures performances de reconnaissance d'objets et sont plus robustes à la corruption des étiquettes. Fait intéressant, nous avons constaté que les données neurales n'étaient pas nécessaires pour ce processus, mais que les données aléatoires ayant les mêmes propriétés statistiques que les données neurales amélioraient également les performances. Bien que les gains de performance observés lors de l'entraînement sur la tâche composite par rapport à la tâche de reconnaissance d'objets " pure " soient modestes, ils sont remarquablement robustes. Notamment, nous avons observé ces gains de performance dans toutes les variations de réseau que nous avons étudiées, y compris : les architectures plus petites (CORNet-Z) et plus grandes (VGG-16), les variations des optimiseurs (Adam et descente de gradient), les variations de la fonction d'activation (ReLU et ELU) et les variations de l'initialisation du réseau. Nos résultats démontrent l'utilité potentielle d'une nouvelle approche pour la formation de réseaux de reconnaissance d'objets, en utilisant des stratégies dans lesquelles le cerveau - ou du moins les propriétés statistiques de ses schémas d'activation - sert de signal d'apprentissage pour la formation de DCNNs.