Vers une mesure pratique de l'interférence pour l'apprentissage par renforcement

Résumé

Les interférences catastrophiques sont courantes dans de nombreux systèmes d'apprentissage en réseau, et de nombreuses propositions existent pour les atténuer. Mais, avant de surmonter l'interférence, nous devons mieux la comprendre. Dans ce travail, nous fournissons une définition de l'interférence pour le contrôle dans l'apprentissage par renforcement. Nous évaluons systématiquement nos nouvelles mesures, en évaluant la corrélation avec plusieurs mesures de la performance d'apprentissage, y compris la stabilité, l'efficacité de l'échantillon, et la performance du contrôle en ligne et hors ligne sur une variété d'architectures d'apprentissage. Notre nouvelle mesure d'interférence nous permet de poser de nouvelles questions scientifiques sur les architectures d'apprentissage profond couramment utilisées. En particulier, nous montrons que la fréquence du réseau cible est un facteur dominant pour l'interférence, et que les mises à jour de la dernière couche entraînent une interférence significativement plus élevée que les mises à jour internes au réseau. Cette nouvelle mesure peut être coûteuse à calculer ; nous concluons en proposant une mesure de substitution efficace et démontrons empiriquement qu'elle est corrélée à notre définition de l'interférence.