Cet article a été rédigé par Alona Fyshe, boursière Amii et titulaire de la chaire CIFAR AI du Canada, elle est professeur adjoint d'informatique et de psychologie à l'université de l'Alberta. Elle combine ses intérêts en linguistique informatique, en apprentissage automatique et en neurosciences pour étudier la façon dont le cerveau humain traite le langage.

Pourquoi l'IA prédit-elle ce qu'elle fait ?

L'IA étant devenue plus puissante, nous avons commencé à en dépendre d'une nouvelle manière. Nous attendons également davantage de l'IA dans notre vie, notamment en voulant savoir pourquoi elle fait les prédictions qu'elle fait.

Les exemples vont du banal "pourquoi TikTok me sert-il des vidéos sur Donjons et Dragons ?" au très sérieux "pourquoi ma voiture autopilotée s'est-elle soudainement déportée sur la droite ?" Connaître le "pourquoi de l'IA" nous aide à mieux anticiper les actions futures de la technologie dans nos vies. Cette intuition renforce la confiance entre les utilisateurs et l'IA, ce qui permet à cette dernière de s'intégrer plus facilement dans nos vies.

Les chercheurs utilisent le terme interprétabilité pour désigner l'examen du fonctionnement interne d'un modèle afin de comprendre pourquoi il a fait telle ou telle prédiction.

Les premières tentatives d'interprétabilité ont fait appel à la psychologie populaire - nous voulions être en mesure de raconter pourquoi un modèle faisait une prédiction spécifique d'une manière compréhensible pour l'homme.

Il fut un temps où cet objectif semblait plausible, mais avec l'avènement de modèles plus grands et plus complexes, il se peut que cela ne soit plus possible. Les prédictions faites par nos modèles ne sont plus attribuables à des facteurs uniques, mais plutôt à des éléments multiples combinés d'une manière difficile à décrire ou à saisir.

Pourquoi l'interprétabilité est difficile

Pensez à la dernière fois que vous avez essayé de choisir un endroit pour manger au restaurant. Vous aviez peut-être envie de sushis, mais pourquoi ? Parfois, les raisons sont évidentes : peut-être n'avez-vous pas mangé de sushis depuis un certain temps, peut-être avez-vous vu quelqu'un d'autre manger des sushis au déjeuner.

Mais parfois, vous avez envie de sushis et vous ne savez pas trop pourquoi, et il y a probablement beaucoup de choses qui ont contribué à votre désir, dont certaines se sont peut-être produites il y a plusieurs jours. Peut-être pouvez-vous même évoquer une explication liée à certaines de vos expériences récentes, mais la véritable raison est que votre corps vous envoie des signaux subtils qui rendent les sushis attrayants.

Comprendre les modèles d'IA, c'était comme expliquer une journée où les raisons pour lesquelles vous aviez envie de sushis étaient assez claires. Nos modèles étaient simples, et les données d'entrée des modèles étaient également simples. Mais avec les systèmes d'IA actuels, expliquer pourquoi un modèle prend une décision particulière ressemble beaucoup plus à ces jours étranges où vous avez envie de sushis sans savoir exactement pourquoi.

Nos modèles sont complexes et les données qui les alimentent le sont également. En réponse à cette situation, un nouveau domaine a vu le jour : l'IA explicable, ou X-AI.

L'IA, mais qu'elle soit explicable

Les chercheurs de la X-AI notent que même lorsque le modèle lui-même est difficile à expliquer, il peut y avoir un moyen d'introduire un autre modèle ou une autre méthode pour aider à l'explication. Ce modèle supplémentaire est entraîné à examiner le comportement du modèle original et à créer une explication compréhensible par l'homme pour expliquer pourquoi le modèle a pris une décision particulière.

L'une des approches de la X-AI consiste à produire des explications contrefactuelles, c'est-à-dire à générer de nouveaux points de données en modifiant légèrement un exemple existant.

Dans le cas d'une voiture autopilotée qui dévie soudainement vers la droite, nous pourrions créer des explications contrefactuelles en prenant l'image avant l'embardée et en la modifiant légèrement. Par exemple, nous pouvons augmenter ou diminuer le contraste, faire un zoom avant ou rendre certains groupes de pixels noirs.

Cela crée une série d'exemples, dont certains amèneront le modèle à produire une prédiction différente, ce qui nous permet d'expliquer pourquoi le modèle a fait la prédiction initiale. Ces explications n'expliquent pas comment le modèle a fait une certaine prédiction, mais elles permettent de comprendre pourquoi la prédiction a été faite.

Une autre approche X-AI renvoie à l'époque plus simple des modèles interprétables. L'idée générale est que, si nous ne considérons qu'un petit échantillon de points de données très similaires, le comportement d'un modèle complexe peut être capturé par un modèle simple (Ribeiro et al., 2016).

Cette méthode utilise un seul échantillon de données pour générer un ensemble de données d'exemples contrefactuels. Ensuite, nous utilisons le modèle complexe pour prédire la catégorie des exemples contrefactuels. Avec ce nouvel ensemble de données, nous formons un modèle plus simple et plus facile à interpréter.

Ce modèle plus simple ne doit capturer que les schémas d'un ensemble limité d'exemples et peut donc souvent fournir des prédictions qui reflètent étroitement le modèle complexe sur cet ensemble limité. Ce modèle plus simple est facilement interprétable et nous aide à comprendre le comportement d'un modèle complexe pour un seul exemple de données.

Évolution de notre compréhension

La X-AI n'est pas sans détracteurs. Certains critiques affirment que les approches X-AI sont un peu comme lorsque vous trouvez une explication à vos envies de sushis un jour où il n'y a pas de raison claire : vous pouvez imaginer un raisonnement, mais il n'y a pas de moyen facile de s'assurer qu'il est correct.

De même, les critiques de l'approche X-AI soulignent qu'il est très difficile de savoir si les explications générées de l'extérieur sont des explications dignes de confiance. Nous pouvons donc utiliser l'IA-X pour nous aider à explorer et à raisonner sur nos modèles, mais ce n'est pas une solution miracle et nous devons prendre ses explications avec un grain de sel.

Il est également vrai que la compréhension d'un modèle par l'exploration d'exemples contrefactuels exige une bonne dose de réflexion de la part de l'utilisateur. Ce n'est toujours pas aussi simple et intuitif que de lire une explication d'une phrase.

Mais la X-AI continuera d'évoluer, en développant de nouvelles façons de nous aider à comprendre l'IA de manière plus naturelle. En développant notre intuition sur l'IA, nous pouvons faire confiance à l'IA dans notre vie, ce qui nous permet d'exploiter l'IA pour notre plus grand bénéfice.

Références

Ribeiro, Marco Tulio, Sameer Singh, et Carlos Guestrin. "Model-Agnostic Interpretability of Machine Learning" arXiv, 16 juin 2016. https://doi.org/10.48550/arXiv.1606.05386.