La minimisation du risque invariant tient-elle compte de l'invariance ?

Résumé :

Nous montrons que la formulation Invariant Risk Minimization (IRM) d'Arjovsky et al.(2019) peut échouer à capturer les invariances " naturelles ", du moins lorsqu'elle est utilisée dans sa forme pratique " linéaire ", et même sur des problèmes très simples qui suivent directement les exemples motivant l'IRM. Cela peut conduire à une moins bonne généralisation sur de nouveaux environnements, même par rapport à la MRI non contrainte. Le problème découle d'un écart important entre la variante linéaire (comme dans leur méthode concrète IRMv1) et la formulation complète non linéaire de la MRI. En outre, même en capturant les " bonnes " invariances, nous montrons qu'il est possible pour la MRI d'apprendre un prédicteur sous-optimal, en raison de la fonction de perte qui n'est pas invariante entre les environnements. Les problèmes surviennent même en mesurant l'invariance sur les distributions de la population, mais sont exacerbés par le fait que la MRI est extrêmement fragile à l'échantillonnage.