Rencontrez les boursiers : Xingyu Li

En savoir plus sur les recherches et les travaux de Xingyu Li, l'un des derniers boursiers à avoir rejoint l'équipe de chercheurs de classe mondiale d'Amii. Xingyu Li est professeur adjoint au département d'ingénierie électrique et informatique de l'université de l'Alberta.

Les recherches de Mme Li portent sur la vision par ordinateur, l'analyse des données et l'informatique de santé. Les résultats de ses recherches ont contribué à des projets concernant l'imagerie médicale computationnelle, la conception d'implants crâniens, les génomes pour COVID-19 et la sécurité dans l'apprentissage profond.

Découvrez sa conversation avec Adam White, directeur des opérations scientifiques d'Amii, où elle parle de ses travaux novateurs en matière de détection visuelle des anomalies, de la manière d'utiliser l'IA pour les soins de santé tout en préservant la vie privée des patients, et de ses réflexions sur l'avenir des modèles d'IA en médecine.

[Cette transcription a été modifiée pour des raisons de longueur et de clarté. Pour voir l'intégralité de la conversation, regardez la vidéo ci-dessus].

Adam White :

Bienvenue, Xingyu. C'est vraiment un plaisir de vous recevoir aujourd'hui. J'ai hâte de parler de vos recherches.

Xingyu Li :

Je vous remercie. Je vous remercie de m'avoir accueillie.

Adam White :

Pourquoi ne pas nous parler un peu de vos recherches ? Présentez-nous en 30 secondes ce sur quoi vous travaillez.

Xingyu Li :

Mes recherches actuelles sont principalement axées sur l'apprentissage efficace des données, en particulier pour une représentation bonne et robuste.

Nous savons que la rareté des données est un problème général, en particulier pour l'imagerie médicale et l'analyse médicale. Par conséquent, la manière d'apprendre une représentation robuste et de qualité est plus difficile que l'apprentissage supervisé traditionnel, ainsi que l'apprentissage non supervisé pour les données volumineuses.

En ce moment, je me concentre particulièrement sur la détection d'anomalies et je m'intéresse naturellement aux problèmes ouverts. Je pense que c'est un bon moyen d'ouvrir la voie au cas réel général de traitement des données.

Adam White :

Qu'est-ce qui vous a incité à vous engager dans cette voie de recherche ? Qu'est-ce qui vous a attiré dans votre domaine d'application particulier ?

Xingyu Li :

En fait, c'est une longue histoire.

Pendant mon doctorat, mes recherches se sont concentrées sur l'analyse d'images médicales. Nous avons constaté qu'il n'est pas facile d'obtenir un grand nombre de données. Cela signifie que beaucoup de choses sont très difficiles, en particulier lorsque nous devons d'abord approcher les médecins. Nous obtenons les données, mais la [quantité de] données elle-même est très faible.

Nous avons constaté que la rareté des données est un problème. C'est ce qui nous a poussés à nous demander ce que nous pouvions faire.

Je constate que si je me concentre sur l'analyse des images et des données médicales, de nombreux problèmes ne peuvent être résolus. Nous devons plutôt approfondir le problème fondamental de l'apprentissage automatique. Je me suis concentré sur le cœur de l'apprentissage automatique, l'apprentissage par représentation, pour aborder les problèmes de bout en bout et adapter ensuite ce que je pourrais découvrir à l'analyse d'images médicales.

C'est pourquoi l'accent est mis davantage sur la méthodologie. Mais je reste très ouvert à la collaboration pour l'analyse des données médicales ainsi que pour l'analyse des données de santé.

Adam White :

Pouvez-vous me parler de certains des défis posés par la collecte des données dans l'application médicale par rapport à ce que nous voyons habituellement dans l'apprentissage automatique, où nous obtenons les données à partir d'images sur Internet ou de jeux vidéo, comme nous le faisons dans l'apprentissage par renforcement ?

Comment se passe l'obtention de données dans le monde de l'analyse médicale ?

Xingyu Li :

Vie privée. C'est la première chose à faire.

Lorsque nous recueillons des données, nous devons obtenir l'accord du patient. C'est la première étape. Deuxièmement, certaines des données que nous recueillons sont très bruyantes. Nous devons d'une manière ou d'une autre traiter les données dans un certain format. La troisième chose pour la médecine est que, par rapport à l'image naturelle généralement capturée par l'appareil photo ou le format RVB, dans les [données] médicales, il y a beaucoup de modalités. Donc, différentes modalités. Les différents organes correspondent en fait à leurs propres caractéristiques.

Bien sûr, nous pouvons les mélanger, mais nous devons nous attaquer aux problèmes de domaine ici. Il y en a beaucoup d'autres, par exemple lorsqu'il est très difficile d'obtenir des annotations parce que toutes les annotations doivent être fournies par les médecins autorisés. Mais les médecins ne travaillent pas pour nous, c'est certain. C'est pourquoi, si nous avons besoin d'étiquettes, nous devons demander aux médecins de faire l'étiquetage en même temps que leur [autre] travail. C'est très, très cher. Tout devient très, très rare.

Adam White :

La communauté de l'apprentissage automatique a été bouleversée par les grands modèles de langage, le ChatGPT, etc. Comment cela se manifeste-t-il dans votre domaine et dans vos recherches ?

Xingyu Li :

Pour l'instant, il présente un grand potentiel. Je pense que c'est une bonne chose parce que pour les grands modèles, pas nécessairement le modèle linguistique - les modèles de base, y compris le SAM (Segment Anything Model), et CLIP et ainsi de suite, et ainsi de suite. À mon avis, tous ces modèles de base peuvent se comporter comme Wikipédia ou le dictionnaire. Nous devons nous attaquer à quelque chose pour lequel nous n'avons pas beaucoup de données, mais il y a beaucoup de connaissances condensées dans ces modèles de base.

L'exploration efficace de ces modèles de base peut donc permettre de transférer beaucoup d'informations vers la tâche en aval.

Par exemple, ce que nous voulons faire, nous devons en quelque sorte guider la conception, les stratégies et les algorithmes d'apprentissage automatique pour guider le grand modèle de langage afin d'extraire les connaissances et les idées correspondantes. Ces connaissances sont ensuite intégrées dans la tâche en aval.

Nous venons de soumettre à l'AAAAI un article sur l'utilisation de CLIP pour la détection d'anomalies à partir de zéro. En effet, pour la détection normale, nous disons qu'il suffit d'avoir des échantillons normaux. Nous apprenons ce qui est normal. Mais avec les connaissances acquises dans le domaine des big data, ce qui est normal est en fait intégré dans les données parce qu'il y a beaucoup de données en ligne. Pour la plupart d'entre elles, si nous devons les catégoriser, elles sont déjà normales. Toutes les informations sont donc là. La façon d'utiliser ces informations pour faire du "zero-shot", à l'heure actuelle, les performances sont assez surprenantes.

Prenons un exemple précis : pour la détection d'anomalies dans un ensemble de données particulier, par exemple, la performance de SOTA est de 97, et pour le zero-shot, nous pouvons obtenir 94, 95. C'est donc assez proche, le zero-shot en utilisant le big data. Désolé, en utilisant le modèle de base, le grand modèle, on ne peut pas dire qu'il s'agit d'un zéro pointé. Mais on peut dire qu'il s'agit d'un autre type de supervision sans objectif spécifique.

Je pense qu'il s'est beaucoup amélioré ; je vois beaucoup de potentiel dans l'utilisation des modèles de base pour les problèmes ouverts.

Adam White :

Merci beaucoup pour cette merveilleuse discussion. C'est un plaisir de vous avoir parmi nous aujourd'hui.

Xingyu Li :

Merci beaucoup. Je vous remercie de votre attention.