Plus large, puis plus étroit : Formation efficace de réseaux minces et profonds

Résumé

Pour déployer un modèle d'apprentissage profond en production, il faut qu'il soit à la fois précis et compact pour répondre aux contraintes de latence et de mémoire. Cela se traduit généralement par un réseau à la fois profond (pour garantir la performance) et mince (pour améliorer l'efficacité du calcul). Dans cet article, nous proposons une méthode efficace pour former un réseau fin et profond avec une garantie théorique. Notre méthode est motivée par la compression de modèles. Elle se compose de trois étapes. Tout d'abord, nous élargissons suffisamment le réseau fin profond et l'entraînons jusqu'à convergence. Ensuite, nous utilisons ce réseau large profond bien entraîné pour réchauffer (ou initialiser) le réseau fin profond original. Nous y parvenons en imitant les couches, c'est-à-dire en forçant le réseau fin à imiter les sorties intermédiaires du réseau large de couche en couche. Enfin, nous affinons ce réseau mince profond déjà bien initialisé. La garantie théorique est établie en utilisant l'analyse du champ moyen neuronal. Elle démontre l'avantage de notre approche d'imitation par couche sur la rétropropagation. Nous menons également des expériences empiriques à grande échelle pour valider la méthode proposée. En s'entraînant avec notre méthode, ResNet50 peut surpasser ResNet101, et BERT base peut être comparable à BERT large, lorsque ResNet101 et BERT large sont entraînés avec les procédures d'entraînement standard comme dans la littérature.