Amii est heureux de présenter les travaux de ses chercheurs à la 36e conférence annuelle de l'AAAI sur l'intelligence artificielle, qui se tiendra en ligne du 22 février au 1er mars 2022.

La conférence de l'AAAI vise à promouvoir la recherche en intelligence artificielle et à offrir la possibilité d'un échange scientifique entre les chercheurs, les praticiens et les ingénieurs en intelligence artificielle dans les disciplines affiliées. La conférence de cette année comprendra des résumés d'étudiants, des sessions d'affiches, des conférenciers, des ateliers, ainsi que des programmes d'exposition et de concours.

La conférence de l'AAAI est l'une des cinq meilleures conférences sur l'IA et le ML dans le monde, d'après le classement de Guide2Research de ses valeurs h-index et Impact Score.

Cette année, les articles acceptés soumis par les chercheurs d'Amii abordent des sujets tels que l'amélioration de la traduction linguistique et de la génération de textes par l'IA, de nouvelles approches de l'apprentissage par renforcement multi-agents et de nouveaux cadres pour l'interprétation par l'IA de données d'imagerie médicale.

Consultez la liste complète des articles acceptés des chercheurs d'Amii, ainsi que leurs autres travaux à l'AAAI.

Articles acceptés

Que pouvons-nous apprendre même des plus faibles ? Croquis d'apprentissage pour les stratégies programmatiques

Leandro C. Medeiros, David S. Aleixo, Levi H. S. Lelis

Résumé : Dans cet article, nous montrons que le clonage comportemental peut être utilisé pour apprendre des esquisses efficaces de stratégies programmatiques. Nous montrons que même les esquisses apprises en clonant le comportement de joueurs faibles peuvent aider à la synthèse de stratégies programmatiques. En effet, même les joueurs faibles peuvent fournir des informations utiles, par exemple le fait qu'un joueur doit choisir une action à son tour de jeu. Si le clonage comportemental n'est pas utilisé, le synthétiseur doit apprendre même les informations les plus élémentaires en jouant le jeu, ce qui peut être coûteux en termes de calcul. Nous démontrons empiriquement les avantages de notre approche d'apprentissage par croquis avec des synthétiseurs de recuit simulé et d'UCT. Nous évaluons nos synthétiseurs dans les jeux Can't Stop et MicroRTS. Les synthétiseurs basés sur des esquisses sont capables d'apprendre des stratégies programmatiques plus fortes que leurs homologues originaux. Nos synthétiseurs génèrent des stratégies de Can't Stop qui mettent en échec une stratégie programmatique traditionnelle pour le jeu. Ils synthétisent également des stratégies qui battent la méthode la plus performante de la dernière compétition MicroRTS.

Traduction non autorégressive avec prédiction par couche et supervision profonde

Chenyang Huang, Hao Zhou, Osmar R. Zaïane, Lili Mou, Lei Li

Résumé : Comment réaliser une inférence efficace tout en conservant une qualité de traduction élevée ? Les modèles neuronaux de traduction automatique existants, tels que Transformer, atteignent des performances élevées, mais ils décodent les mots un par un, ce qui est inefficace. Les récents modèles de traduction non autorégressifs accélèrent l'inférence, mais leur qualité reste inférieure. Dans ce travail, nous proposons DSLP, un modèle de traduction automatique très efficace et très performant. L'idée principale est d'entraîner un transformateur non autorégressif avec une supervision profonde et d'alimenter des prédictions supplémentaires en couches. Nous avons mené des expériences approfondies sur quatre tâches de traduction (les deux directions de WMT'14 EN-DE et WMT'16 EN-RO). Les résultats montrent que notre approche améliore constamment les scores BLEU par rapport aux modèles de base respectifs. Plus précisément, notre meilleure variante surpasse le modèle autorégressif sur trois tâches de traduction, tout en étant 14,8 fois plus efficace dans l'inférence.

Rechercher et apprendre : Améliorer la couverture sémantique pour la génération de données vers le texte

Shailza Jolly, Zi Xuan Zhang, Andreas Dengel, Lili Mou

Résumé : Les systèmes de génération de texte à partir de données visent à générer des descriptions textuelles basées sur des données d'entrée (souvent représentées sous forme de tableaux). Un système typique utilise d'énormes échantillons de formation pour apprendre la correspondance entre les tableaux et les textes. Cependant, les grands ensembles d'apprentissage sont coûteux à obtenir, ce qui limite l'applicabilité de ces approches dans les scénarios du monde réel. Dans ce travail, nous nous concentrons sur la génération de texte à partir de quelques données. Nous observons que, bien que les modèles de langage pré-entraînés finement réglés puissent générer des phrases plausibles, ils souffrent du problème de la faible couverture sémantique dans le cadre de la génération de textes à partir de peu de données. En d'autres termes, le texte généré a tendance à ne pas contenir d'éléments d'entrée importants. À cette fin, nous proposons une approche de recherche et d'apprentissage qui s'appuie sur des modèles de langage préformés, mais qui insère les emplacements manquants pour améliorer la couverture sémantique. Nous affinons ensuite notre système en fonction des résultats de la recherche afin d'atténuer le bruit de la recherche, ce qui permet d'obtenir un texte de meilleure qualité et d'améliorer l'efficacité de l'inférence dans une large mesure. Les expériences montrent que notre modèle est très performant sur les ensembles de données E2E et WikiBio. En particulier, nous couvrons 98,35 % des créneaux d'entrée sur E2E, ce qui atténue largement le problème de faible couverture.

Équivariance généralisée et étiquetage préférentiel pour la classification des nœuds du GNN

Zeyu Sun, Wenjie Zhang, Lili MouQihao Zhu, Yingfei Xiong, Lu Zhang

Résumé : Les réseaux neuronaux de graphes (GNN) existants s'appuient largement sur l'intégration des nœuds, qui représente un nœud comme un vecteur par son identité, son type ou son contenu. Cependant, les graphes avec des nœuds non attribués existent largement dans les applications du monde réel (par exemple, les réseaux sociaux anonymes). Les GNN précédents attribuent des étiquettes aléatoires aux nœuds (ce qui introduit des artefacts dans le GNN) ou attribuent une intégration à tous les nœuds (ce qui ne permet pas de distinguer explicitement un nœud d'un autre). En outre, lorsque ces GNN sont appliqués à des problèmes de classification de nœuds non attribués, ils présentent une propriété d'équivariance indésirable et sont fondamentalement incapables de traiter les données avec de multiples sorties possibles. Dans cet article, nous analysons les limites des approches existantes pour les problèmes de classification des nœuds. Inspirés par notre analyse, nous proposons une propriété d'équivariance généralisée et une technique d'étiquetage préférentiel qui satisfait la propriété souhaitée de manière asymptotique. Les résultats expérimentaux montrent que nous obtenons des performances élevées dans plusieurs tâches de classification de nœuds non attribués.

Jeux décentralisés à champ moyen

Sriram Ganapathi Subramanian, Matthew E. Taylor, Mark Crowley, Pascal Poupart

Résumé : Les algorithmes d'apprentissage par renforcement multi-agents n'ont pas été largement adoptés dans des environnements à grande échelle avec de nombreux agents, car ils s'adaptent souvent mal au nombre d'agents. L'utilisation de la théorie du champ moyen pour agréger les agents a été proposée comme solution à ce problème. Cependant, presque toutes les méthodes précédentes dans ce domaine reposent sur l'hypothèse forte d'un système centralisé dans lequel tous les agents de l'environnement apprennent la même politique et sont effectivement impossibles à distinguer les uns des autres. Dans le présent document, nous assouplissons cette hypothèse concernant les agents indiscernables et proposons un nouveau système de champ moyen connu sous le nom de jeux de champ moyen décentralisés, dans lequel chaque agent peut être très différent des autres. Tous les agents apprennent des politiques indépendantes de manière décentralisée, sur la base de leurs observations locales. Nous définissons un concept de solution théorique pour ce système et fournissons une garantie de point fixe pour un algorithme basé sur l'apprentissage Q dans ce système. Une conséquence pratique de notre approche est que nous pouvons résoudre le problème de l'œuf et de la poule dans les algorithmes d'apprentissage par renforcement du champ moyen empirique. En outre, nous fournissons des algorithmes d'apprentissage Q et de critique des acteurs qui utilisent l'approche décentralisée de l'apprentissage par champ moyen et donnent de meilleures performances par rapport aux lignes de base courantes dans ce domaine. Dans notre cadre, les agents n'ont pas besoin d'être des clones les uns des autres et apprennent de manière totalement décentralisée. Ainsi, pour la première fois, nous montrons l'application des méthodes d'apprentissage par champ moyen dans des environnements totalement compétitifs, des environnements d'espace d'action continu à grande échelle et d'autres environnements avec des agents hétérogènes. Fait important, nous appliquons également la méthode du champ moyen à un problème de covoiturage à l'aide d'un ensemble de données réelles. Nous proposons une solution décentralisée à ce problème, qui est plus pratique que les méthodes d'apprentissage centralisées existantes.

Apprentissage des traces emphatiques attendues pour le RL profond

Ray Jiang, Shangtong Zhang, Veronica Chelu, Adam WhiteHado van Hasselt

Résumé: L'échantillonnage hors politique et le rejeu d'expérience sont essentiels pour améliorer l'efficacité de l'échantillonnage et la mise à l'échelle des méthodes d'apprentissage par différence temporelle sans modèle. Lorsqu'elle est associée à une approximation de fonction, telle que les réseaux neuronaux, cette combinaison est connue sous le nom de triade mortelle et est potentiellement instable. Récemment, il a été démontré que la stabilité et les bonnes performances à l'échelle peuvent être obtenues en combinant des pondérations emphatiques et des mises à jour en plusieurs étapes. Toutefois, cette approche se limite généralement à l'échantillonnage de trajectoires complètes afin de calculer la pondération emphatique requise. Dans cet article, nous étudions comment combiner les pondérations emphatiques avec des données non séquentielles, hors ligne, échantillonnées à partir d'une mémoire tampon de relecture. Nous développons une pondération emphatique en plusieurs étapes qui peut être combinée avec la relecture, ainsi qu'un algorithme d'apprentissage TD à n étapes inversé dans le temps pour apprendre la pondération emphatique requise. Nous montrons que ces pondérations d'état réduisent la variance par rapport aux approches précédentes, tout en offrant des garanties de convergence. Nous avons testé l'approche à grande échelle sur des jeux vidéo Atari 2600 et observé que le nouvel agent X-ETD(n) était plus performant que les agents de référence, ce qui met en évidence l'évolutivité et l'applicabilité étendue de notre approche.

UCTransNet : Repenser les connexions de saut dans U-Net d'une perspective de canal avec Transformer

Haonan Wang, Peng Cao, Jiaqi Wang, Osmar R. Zaiane

Résumé : La plupart des méthodes récentes de segmentation sémantique adoptent un cadre U-Net avec une architecture codeur-décodeur. La modélisation du contexte global multi-échelle par U-Net avec un simple schéma de connexion par saut reste un défi : 1) Tous les paramètres de saut de connexion ne sont pas efficaces en raison de l'incompatibilité des ensembles de caractéristiques de l'encodeur et du décodeur, et même certains sauts de connexion ont une influence négative sur la performance de la segmentation ; 2) L'U-Net original est moins bon que celui qui n'a pas de saut de connexion sur certains ensembles de données. Sur la base de nos conclusions, nous proposons un nouveau cadre de segmentation, appelé UCTransNet (avec un module CTrans proposé dans U-Net), du point de vue du canal avec un mécanisme d'attention. Plus précisément, le module CTrans est une alternative aux connexions de saut de U-Net, qui se compose d'un sous-module permettant de réaliser la fusion multi-échelle Channel Cross avec Transformer (appelé CCT) et d'un sous-module Channel-wise Cross-Attention (appelé CCA) permettant de guider les informations multi-échelles fusionnées Channel-Wise afin de les connecter efficacement aux caractéristiques du décodeur et d'éliminer l'ambiguïté. Par conséquent, la connexion proposée, composée du CCT et du CCA, est capable de remplacer la connexion de saut originale pour résoudre les lacunes sémantiques en vue d'une segmentation automatique et précise de l'image médicale. Les résultats expérimentaux suggèrent que notre UCTransNet produit des performances de segmentation plus précises et réalise des améliorations cohérentes par rapport à l'état de l'art pour la segmentation sémantique dans différents ensembles de données et architectures conventionnelles impliquant un transformateur ou un cadre en forme de U.

Les dangers d'apprendre avant d'optimiser

Chris Cameron, Jason Hartford, Taylor Lundy, Kevin Leyton-Brown Résumé : La formulation de problèmes d'optimisation dans le monde réel commence souvent par des prédictions à partir de données historiques (par exemple, un optimiseur qui vise à recommander des itinéraires rapides s'appuie sur des prédictions de temps de parcours). Généralement, l'apprentissage du modèle de prédiction utilisé pour générer le problème d'optimisation et la résolution de ce problème sont effectués en deux étapes distinctes. Des travaux récents ont montré comment de tels modèles de prédiction peuvent être appris de bout en bout en différenciant la tâche d'optimisation. Ces méthodes produisent souvent des améliorations empiriques, qui sont généralement attribuées au fait que la fonction de perte standard utilisée dans une solution en deux étapes permet d'obtenir de meilleurs compromis d'erreur de bout en bout. Nous affinons cette explication et caractérisons plus précisément les cas où la méthode de bout en bout peut améliorer les performances. Lorsque les cibles de prédiction sont stochastiques, une solution en deux étapes doit choisir a priori les statistiques de la distribution de la cible à modéliser - nous considérons les attentes sur les cibles de prédiction - alors qu'une solution de bout en bout peut faire ce choix de manière adaptative. Nous montrons que l'écart de performance entre une approche en deux étapes et une approche de bout en bout est étroitement lié au concept de prix de la corrélation dans l'optimisation stochastique et nous montrons les implications de certains résultats POC existants pour le problème de prédiction-optimisation. Nous considérons ensuite un cadre nouveau et particulièrement pratique, dans lequel plusieurs cibles de prédiction sont combinées pour obtenir chacun des coefficients de la fonction objective. Nous donnons des constructions explicites dans lesquelles (1) les performances en deux étapes sont infiniment moins bonnes que celles de bout en bout ; et (2) les performances en deux étapes sont optimales. Nous utilisons des simulations pour quantifier expérimentalement les écarts de performance et identifier un large éventail d'applications réelles tirées de la littérature dont les fonctions objectives reposent sur des cibles de prédiction multiples, ce qui suggère que l'apprentissage de bout en bout pourrait apporter des améliorations significatives.

Événements relatifs à la diversité et à l'inclusion

Queer dans l'IA

Raj Korpan, Danica Sutherland

La présence de Queer in AI à l'AAAI 2022 vise à créer un espace de réseautage et de socialisation sûr et inclusif pour les personnes LGBTQIA+ et leurs alliés impliqués dans l'IA. Nous voulons créer un espace communautaire où les participants peuvent se connecter les uns aux autres, se lier par des expériences partagées, et apprendre des points de vue uniques de chaque individu sur l'IA, la queerness, et au-delà ! Nous aurons deux événements à l'AAAI : Un événement social, pour rassembler la communauté. Un orateur se penchera sur la diversité et l'inclusion de la communauté de l'IA, suivi d'une session de réseautage informel. L'événement sera gratuit et ouvert à tous ; voir le site web pour les informations d'inscription. Nous organiserons également une session de mentorat pour les étudiants de premier cycle et les jeunes diplômés, au cours de laquelle les orateurs parleront de leur parcours depuis le premier cycle, une session de questions-réponses et des groupes de discussion pour jumeler les étudiants avec un membre plus expérimenté de la communauté.

Des chercheurs d'Amii ont également participé à l'organisation de la conférence :

Nathan Sturtevant - Membre senior Co-président de la filière