L'utilité des représentations éparses pour le contrôle dans l'apprentissage par renforcement.

Nous étudions les représentations éparses pour le contrôle dans l'apprentissage par renforcement. Alors que ces représentations sont largement utilisées dans le domaine de la vision par ordinateur, leur prévalence dans l'apprentissage par renforcement est limitée au codage clairsemé où l'extraction de représentations pour de nouvelles données peut être intensive en termes de calcul. Ici, nous commençons par démontrer que l'apprentissage d'une politique de contrôle de manière incrémentale avec une représentation provenant d'un réseau neuronal standard échoue dans les domaines de contrôle classiques, alors que l'apprentissage avec une représentation obtenue à partir d'un réseau neuronal qui a des propriétés de sparsité appliquées est efficace. Nous apportons la preuve que la raison en est que la représentation clairsemée fournit la localité, et évite ainsi les interférences catastrophiques, et en particulier conserve des valeurs cohérentes et stables pour le bootstrapping. Nous discutons ensuite de la manière d'apprendre de telles représentations éparses. Nous explorons l'idée de régularisateurs distributionnels, où l'activation des nœuds cachés est encouragée à correspondre à une distribution particulière qui entraîne une activation clairsemée dans le temps. Nous identifions un moyen simple mais efficace d'obtenir des représentations clairsemées, ce que ne permettaient pas les stratégies proposées précédemment, ce qui rend plus pratique l'étude des représentations clairsemées pour l'apprentissage par renforcement.