COLIEE 2019 : Appliquer l'IA au raisonnement juridique

Amii est fière de sponsoriser une fois de plus la compétition sur l'extraction et l'enchaînement d'informations juridiques (COLIEE). En créant une communauté de pratique concernant le traitement de l'information juridique et l'implication textuelle, COLIEE a été en mesure de faire progresser régulièrement la compréhension du processus d'application de l'IA au raisonnement juridique. COLIEE, qui en est à sa sixième édition, se déroulera le 21 juin 2019 à Montréal, en association avec la Conférence internationale sur l'intelligence artificielle et le droit (ICAIL) 2019.

Origines de COLIEE

Combien de concours ont été lancés à la suite d'un examen du barreau raté ? Au moins un. COLIEE a été fondé par des collègues de longue date, Randy Goebel (Amii Fellow et professeur à l'Université d'Alberta), et son collègue Ken Satoh (professeur au National Institute for Informatics).

"Ken et moi avions toujours travaillé sur toutes sortes d'applications de l'IA au raisonnement dans n'importe quel domaine. Leraisonnement juridique a été l'une des premières cibles de l'IA [...] parce que c'est un domaine dans lequel on essaie d'être précis sur la façon dont on écrit les choses en langage naturel", explique M. Goebel. "Et Ken était si enthousiaste à ce sujet qu'il y a neuf ans [...] il était très frustré d'essayer de passer à l'étape suivante de l'application de l'IA au raisonnement juridique, alors il a passé un diplôme de droit."

Satoh a obtenu un diplôme de droit à l'université de Tokyo, tout en conservant son poste de professeur à temps plein dans l'un des départements d'informatique les plus prestigieux du Japon. Une fois ses études terminées, il a passé l'examen du barreau japonais et a échoué - cinq fois.

"COLIEE est né de sa frustration face à la manière dont les examens du barreau étaient administrés", explique Goebel. "Lui et moi avons décidé que nous pourrions organiser un concours. Nous pourrions utiliser les examens du barreau japonais comme exemples avec le droit statutaire au Japon et organiser un concours pour voir comment les gens pourraient utiliser l'IA pour répondre aux questions des examens du barreau."

Depuis la première édition du concours, Satoh a réussi les examens du barreau japonais. Goebel a fait de même, mais avec l'IA ; il a dirigé une équipe qui a conçu un programme qui a réussi les examens en 2017. Mais COLIEE continue de se dérouler chaque année, en gagnant en défi et en ambition. Cette année, Goebel et Satoh ne sont que deux des six coordinateurs, et 18 équipes au total sont en compétition, provenant de 13 pays différents, des États-Unis au Botswana, de l'Argentine à l'Allemagne.

Les tâches à accomplir

Depuis sa création, la complexité des défis n'a cessé de croître ; aujourd'hui, le concours comprend deux catégories classées par concepts juridiques dans le droit législatif et la jurisprudence. Ces deux catégories comportent chacune deux tâches : une tâche de recherche d'information et une tâche d'implication. Les équipes ont la possibilité de se présenter à une seule tâche, aux quatre tâches ou à tout autre nombre intermédiaire.

Les tâches de recherche d'informations demandent à un programme de prendre un cas d'essai donné et de retrouver les lois ou les cas connexes. Les tâches d'implication vont un peu plus loin.

"L'implication consiste simplement à dire : si ceci est une loi et ceci est une question, est-ce que la loi implique la question ou non ? [Note de l'éditeur : la définition du Dictionnaire.com est la suivante : "causer ou impliquer par nécessité ou comme conséquence : par exemple, une perte n'entraîne aucun regret".] C'est le raisonnement juridique nécessaire pour dire que, si vous portez un kimono coûteux et qu'un passant vous pousse pour vous écarter de la trajectoire d'une voiture qui est sur le point de vous percuter [...], est-il responsable des dommages causés au kimono ?", explique M. Goebel. "Nous voulons donc construire des programmes informatiques qui [...] récupèrent les lois appropriées, puis ils doivent trouver un lien."

En d'autres termes, une tâche d'implication exige d'un programme qu'il effectue une recherche d'informations, puis qu'il crée un argument oui/non pour le cas test sur la base des lois ou des cas retournés. Dans l'exemple ci-dessus, un programme doit récupérer les lois relatives aux dommages matériels et à la responsabilité, puis déterminer si le passant est responsable ou non du kimono endommagé.

La structure du concours a accéléré la recherche dans ce domaine d'une manière unique. COLIEE a créé une communauté de personnes qui s'attaquent à des défis similaires et, par conséquent, ses participants ont naturellement développé un vocabulaire qui a accéléré le processus d'échange d'informations et d'idées.

"On en est presque là dans les ateliers du concours COLIEE [...] les gens parlent sans même préciser. Ils disent : 'et voici notre approche de la tâche 1'. Ils ne décrivent plus la tâche 1".

Expliquer l'explicabilité

L'explicabilité, c'est-à-dire la capacité de déterminer comment un modèle est arrivé à une réponse, joue un rôle important dans la partie du concours consacrée à l'implication. Le laboratoire de M. Goebel, le Explainable AI (XAI) Lab de l'Université de l'Alberta, se consacre à ce concept précis. Le laboratoire de M. Goebel participe au concours COLIEE et, à cet égard, il a un avantage.

"Notre laboratoire s'est attaqué à ces deux domaines, le raisonnement médical et le raisonnement juridique ; nous voulons faire avancer la science de l'IA. Nous avons donc un avantage par rapport à toutes les personnes sur la planète qui, de manière ad hoc, appliquent l'apprentissage, quel qu'il soit, à ces domaines, car nous les pratiquons depuis plus longtemps et nous nous attachons à les rendre explicables."

De nombreux modèles d'apprentissage automatique sont confrontés à l'incapacité d'expliquer comment ils parviennent à des décisions. Par exemple, un modèle peut prendre des points de données et les regrouper sur la base d'une similarité qu'il a remarquée, mais il ne sera pas capable d'articuler cette similarité. Beaucoup évoquent ce problème par métaphore, en les appelant des modèles "boîte noire".

Les modèles d'apprentissage automatique en boîte noire peuvent accomplir des tâches brillantes - mais dans leur application, ils peuvent avoir de graves conséquences. Si un modèle aide un médecin à recommander un traitement, un juge à recommander une peine ou un responsable du recrutement à sélectionner des CV, il est important de pouvoir déterminer pourquoi il prend ces décisions.

"L'explicabilité, c'est aussi simple que de dire : quand je vous dis quelque chose, veuillez expliquer", explique M. Goebel. "Mon expérience vient de la philosophie formelle et de la construction de systèmes pour créer des hypothèses sur les données. C'est ce que font les scientifiques. C'est là que se trouvent tous les mécanismes dont vous avez besoin pour faire de l'explication."

Le 6e concours sur l'extraction et l'enlèvement d'informations juridiques (COLIEE) a lieu le 21 juin 2019 et est organisé en association avec ICAIL à Montréal, au Québec. Visitez le site https://sites.ualberta.ca/~rabelo/COLIEE2019/ pour plus d'informations.