Modèles profonds d'interactions entre ensembles

Nous utilisons l'apprentissage profond pour modéliser les interactions entre deux ou plusieurs ensembles d'objets, tels que les évaluations utilisateur-cinéma, les liaisons protéine-médicament ou les interactions ternaires utilisateur-article-tag. La représentation canonique de ces interactions est une matrice (ou un tenseur de dimension supérieure) avec une propriété d'échangeabilité : la signification de l'encodage n'est pas modifiée par la permutation des lignes ou des colonnes. Nous soutenons que les modèles devraient donc être équivariants par permutation (PE), c'est-à-dire contraints de faire les mêmes prédictions à travers de telles permutations. Nous présentons un schéma de partage des paramètres et prouvons qu'il est impossible de le rendre plus expressif sans violer la PE. Ce schéma présente trois avantages. Tout d'abord, nous démontrons une performance de pointe sur de multiples repères de complétion de matrice. Deuxièmement, nos modèles nécessitent un nombre de paramètres indépendant du nombre d'objets, et s'adaptent donc bien aux grands ensembles de données. Enfin, les modèles peuvent être interrogés sur de nouveaux objets qui n'étaient pas disponibles au moment de la formation, mais pour lesquels des interactions ont été observées depuis. Lors d'expériences, nos modèles ont atteint des performances de généralisation étonnamment bonnes sur cette tâche d'extrapolation de matrice, à la fois dans les domaines (par exemple, de nouveaux utilisateurs et de nouveaux films tirés de la même distribution que celle utilisée pour la formation) et même entre les domaines (par exemple, la prédiction des évaluations musicales après une formation sur les films).

Remerciements

Nous tenons à remercier les réviseurs anonymes pour leurs commentaires constructifs. Cette recherche a été rendue possible en partie grâce au soutien de la subvention à la découverte du CRSNG, de WestGrid et de Compute Canada.