Deux projets de recherche menés par des chercheurs d'Amii visant à accroître la fiabilité et la sécurité des systèmes d'IA avancés ont reçu un financement du programme de recherche du Canadian AI Safety Institute (CAISI) du CIFAR.
Amii Fellows et les chaires canadiennes CIFAR AI Linglong Kong et Bei Jiang font partie des quatre chercheurs canadiens en IA sélectionnés pour bénéficier d'un financement dans le cadre du projet AI Alignment, une coalition internationale de financement dirigée par le UK AI Security Institute. Ce projet est le fruit d'une collaboration entre des gouvernements, des organismes de recherche et des philanthropes qui soutiennent la recherche sur l'une des questions les plus urgentes dans ce domaine : comment s'assurer que l'IA reste bénéfique et sûre pour les personnes.
La science de la sécurité de l'IA est absolument essentielle. Et Amii est bien placée pour jouer un rôle de premier plan dans ce domaine, en se concentrant sur les questions scientifiques et de recherche fondamentales qui sont essentielles pour rendre les systèmes d'IA sûrs, fiables et dignes de confiance.
Alyssa Lefaivre Škopac
Directeur de la confiance et de la sécurité en matière d'IA chez Amii.
La collaboration entre CAISI, l'Institut britannique pour la sécurité de l'IA, et des partenaires industriels et philanthropiques, axée sur la recherche en matière de sécurité de l'IA, est encourageante, déclare Alyssa Lefaivre Škopac, directrice de la confiance et de la sécurité de l'IA chez Amii. Et l'intégration de Kong et Jiang reflète la pertinence et la rigueur des chercheurs d'Amii. « La science de la sécurité de l'IA est absolument essentielle », affirme-t-elle.
« Et Amii est bien placée pour jouer un rôle de premier plan dans ce domaine, en se concentrant sur les questions scientifiques et de recherche fondamentales qui sont essentielles pour rendre les systèmes d'IA sûrs, fiables et dignes de confiance.
Les projets de Kong et Jiang recevront chacun 165 000 dollars pour financer leurs recherches sur la sécurité au cours de l'année à venir, avec la possibilité de prolonger d'une année supplémentaire. Ils bénéficieront également de ressources informatiques spécialisées et d'un soutien supplémentaire pour mener à bien leurs recherches.
En savoir plus sur les chercheurs et leurs projets
Linglong Kong
Le projet de recherche de Kong se concentrera sur le problème du « désalignement émergent » qui affecte souvent les modèles d'apprentissage automatique déployés dans le monde réel. Un modèle initialement conçu pour s'aligner sur un certain objectif peut, au fil du temps, apprendre des comportements qui l'amènent à « tricher » ou à prendre des raccourcis indésirables (appelés « piratage de récompense ») dans certaines tâches, voire parfois à s'éloigner de son objectif initial à l'insu de l'utilisateur (alignement trompeur).
Ses recherches permettront de vérifier si une approche statistique du réglage fin en ligne — où ces comportements sont corrigés grâce à un apprentissage en temps réel — est efficace pour résoudre les problèmes d'alignement émergent.
Bei Jiang
L'un des grands défis de la recherche sur la sécurité de l'IA consiste à traiter les « défaillances à longue traîne », c'est-à-dire les défaillances rares et imprévisibles qui se produisent si rarement qu'elles échappent aux tests habituels. Il est essentiel d'identifier et d'atténuer ces erreurs pour mettre au point des systèmes d'IA fiables et dignes de confiance.
Le projet de Jiang explorera de nouvelles méthodes pour quantifier ces erreurs difficiles à détecter dans les grands modèles linguistiques en utilisant des outils statistiques utilisés dans d'autres domaines qui traitent d'événements rares, mais qui sont sous-utilisés dans le domaine de l'IA.
Outre les deux chercheurs de l'Amii, deux autres projets de recherche menés par les chaires Canada CIFAR AI du Vector Institute de Toronto ont également reçu un financement dans le cadre de la collaboration CAISI. Ils s'inscrivent dans le cadre des investissements récents visant à renforcer la recherche sur l'IA sûre et fiable, tant de la part de l'Amii que du CIFAR.
« Le projet d'alignement de l'IA est une étape importante dans la poursuite de la longue tradition canadienne de leadership dans la promotion d'une recherche en IA sûre et fiable. À mesure que l'IA prend de plus en plus de place dans nos vies, il est plus important que jamais de veiller à ce qu'elle soit conforme à nos valeurs et qu'elle serve l'intérêt public. En investissant dans les travaux de ces chercheurs canadiens, nous renforçons la résilience économique à long terme tout en consolidant la position du Canada en tant que chef de file mondial dans le développement et le déploiement responsables de l'IA », a déclaré Evan Solomon, ministre de l'Intelligence artificielle et de l'Innovation numérique et ministre responsable de l'Agence fédérale de développement économique pour le Sud de l'Ontario.