Une évaluation moins biaisée des détecteurs d'échantillons hors distribution

Dans le monde réel, un système d'apprentissage peut recevoir une entrée qui ne ressemble à rien de ce qu'il a vu pendant la formation. Malheureusement, les échantillons hors distribution peuvent entraîner un comportement imprévisible. Nous devons savoir si une entrée donnée appartient à la distribution de la population des données de formation/évaluation afin d'éviter un comportement imprévisible dans les systèmes déployés. Un récent regain d'intérêt pour ce problème a conduit au développement de techniques sophistiquées dans la littérature sur l'apprentissage profond. Cependant, en raison de l'absence d'une définition standard du problème ou d'une évaluation exhaustive, il n'est pas évident que nous puissions nous fier à ces méthodes. Ce qui différencie ce problème d'un contexte typique d'apprentissage supervisé, c'est que la distribution des valeurs aberrantes utilisée dans la formation peut ne pas être la même que la distribution des valeurs aberrantes rencontrées dans l'application. Les approches classiques qui apprennent les valeurs aberrantes par rapport aux valeurs aberrantes avec seulement deux ensembles de données peuvent donner des résultats optimistes. Nous présentons OD-test, un schéma d'évaluation à trois jeux de données, comme une stratégie plus fiable pour évaluer les progrès réalisés dans ce domaine. Nous présentons une évaluation exhaustive d'un large ensemble de méthodes issues de domaines connexes sur des tâches de classification d'images. Contrairement aux résultats existants, nous montrons que pour des applications réalistes d'images à haute dimension, les techniques précédentes ont une faible précision et ne sont pas fiables en pratique.

Remerciements

Nous tenons à remercier les réviseurs pour leurs commentaires utiles. Nous remercions NVIDIA Corporation pour le don des GPU utilisés pour cette recherche. Ce travail a été soutenu en partie par le Conseil national de recherches en sciences et en génie du Canada (CRSNG), et le programme Learning in Machines and Brains de l'Institut canadien de recherches avancées (ICRA).