Activations de tuiles floues : Une approche simple de l'apprentissage des représentations éparses en ligne

Résumé :

Des travaux récents ont montré que les représentations éparses - où seul un petit pourcentage d'unités est actif - peuvent réduire considérablement les interférences. Ces travaux reposent toutefois sur des approches de régularisation ou de méta-apprentissage relativement complexes, qui n'ont été utilisées que hors ligne dans une phase de pré-formation. Dans ce travail, nous poursuivons une direction qui réalise la sparsité par conception, plutôt que par apprentissage. Plus précisément, nous concevons une fonction d'activation qui produit des représentations éparses de manière déterministe par construction, et qui se prête donc mieux à l'apprentissage en ligne. L'idée repose sur l'approche simple du binning, mais elle permet de surmonter les deux principales limites du binning : des gradients nuls pour les régions plates presque partout, et une perte de précision -- une discrimination réduite -- due à une agrégation grossière. Nous introduisons une activation par tuilage flou (FTA) qui fournit des gradients non négligeables et produit un chevauchement entre les bacs qui améliore la discrimination. Nous montrons d'abord que la FTA est robuste en cas de décalage des covariables dans un problème synthétique d'apprentissage supervisé en ligne, où nous pouvons faire varier le niveau de corrélation et de dérive. Nous passons ensuite au cadre de l'apprentissage par renforcement profond et étudions les algorithmes basés sur la valeur et le gradient de politique qui utilisent des réseaux neuronaux avec FTA, dans des environnements de contrôle discret classique et de contrôle continu de Mujoco. Nous montrons que les algorithmes équipés de FTA sont capables d'apprendre une politique stable plus rapidement sans avoir besoin de réseaux cibles dans la plupart des domaines.