La confiance des radiologues en l'IA : une arme à double tranchant
MARDI 19 NOVEMBRE 2024
Soyez le premier à réagirLorsqu’ils prennent des décisions diagnostiques aidés par l’Intelligence Artificielle (IA), les radiologues lui font parfois trop confiance alors qu’elle signale une zone d'intérêt spécifique sur une radiographie. C’est en substance ce qui ressort d’une nouvelle étude publiée dans la Revue Radiology.
Les radiologues doivent-ils s’appuyer aveuglément sur les capacités de l’Intelligence Artificielle (IA) dans leurs pratiques diagnostiques ? Rien n’est moins sûr, selon une étude récente publiée dans la Revue Radiology.
Une étude tente d’évaluer le potentiel confiance des radiologues envers l’IA
« En 2022, 190 logiciels d’IA en radiologie avaient été approuvés par la Food & Drug Administration, précise l'un des auteurs principaux d'une étude publiée dans la Revue Radiology, le Dr Paul H. Yi, Directeur de l'informatique d'imagerie intelligente et membre associé du département de radiologie de l'hôpital de recherche pour enfants St. Jude de Memphis (Tennessee – USA). Cependant, un écart entre la validation de principe de l’IA et son utilisation clinique réelle se manifeste souvent. Pour combler cet écart, il est primordial de favoriser une confiance limitée dans les logiciels d’IA. »
Pour réaliser cette étude prospective multisite, 132 radiologues et 88 médecins de médecine interne/urgentistes ont lu des radiographies pulmonaires parallèlement aux conseils de l’IA. Chaque médecin a été chargé d'évaluer huit cas de radiographie pulmonaire avec les suggestions d'un assistant simulé d'IA avec des performances diagnostiques comparables à celles des experts dans le domaine. Il leur était proposé des images de radiographie thoracique frontale et, si disponibles, latérales correspondantes obtenues à l'hôpital Beth Israel Deaconess de Boston via la base de données open source MIMI Chest X-Ray. Un panel de radiologues a sélectionné un ensemble de cas simulant la pratique clinique réelle.
Les zones d’influence locales ou générales des conseils de l’IA
Pour chaque cas, les participants se sont vu présenter l’historique clinique du patient, les conseils de l’IA et des images radiographiques. L'IA a fourni un diagnostic correct ou incorrect avec des explications locales ou globales. Dans une explication locale, l’IA met en évidence les parties de l’image jugées les plus importantes. Pour des explications globales, l’IA fournit des images similaires de cas précédents pour montrer comment elle est parvenue à son diagnostic.
« Ces explications locales guident directement le médecin vers la zone concernée en temps réel, poursuit le Dr Yi. Dans notre étude, l'IA a littéralement mis un cadre autour des zones de pneumonie ou autres pathologies pulmonaires. » Les évaluateurs pouvaient accepter, modifier ou rejeter les suggestions de l'IA. Il leur a également été demandé d'indiquer leur niveau de confiance dans les résultats obtenus et de classer l'utilité des conseils de l'IA.
Des temps d’interprétation réduits lorsque l’IA fournit des explications locales
À l’aide de modèles à effets mixtes, deux docteurs en informatique l'Université Johns Hopkins de Baltimore (Maryland – USA), co-auteurs de l’étude, ont conduit les chercheurs à analyser les effets des variables expérimentales sur la précision du diagnostic, l'efficacité, la perception des médecins de l'utilité de l'IA et la « simple confiance » (la rapidité avec laquelle un utilisateur a accepté ou désapprouvé les conseils de l'IA). Les chercheurs ont contrôlé des facteurs tels que les données démographiques des utilisateurs et l’expérience professionnelle.
Les résultats ont montré que les évaluateurs étaient plus susceptibles d’aligner leur décision diagnostique sur les conseils de l’IA et que leur temps d’examen était plus court lorsque l’IA fournissait des explications locales. « Par rapport aux explications globales de l'IA, les explications locales ont donné une meilleure précision du diagnostic du médecin lorsque les conseils de l'IA étaient corrects, ajoute le Dr Yi. Ils ont également augmenté l'efficacité globale du diagnostic en réduisant le temps passé à prendre en compte les conseils de l'IA. »
La confiance en l’IA : une arme à double tranchant
Lorsque les conseils de l'IA étaient corrects, la précision moyenne du diagnostic parmi les évaluateurs était de 92,8 % avec des explications locales et de 85,3 % avec des explications globales. Lorsque les conseils de l’IA étaient incorrects, l’exactitude des médecins était de 23,6 % pour les explications locales et de 26,1 % pour les explications globales. « Lorsqu'on leur a fourni des explications locales, les radiologues et les non-radiologues participant à l'étude avaient tendance à faire confiance plus rapidement au diagnostic de l'IA, quelle que soit l'exactitude des conseils de l'IA », remarque-t-il.
Le co-auteur principal de l'étude, le Pr Chien-Ming Huang, professeur adjoint John C. Malone au Département d'informatique de l'Université Johns Hopkins, a souligné que cette confiance dans l'IA pourrait être une arme à double tranchant car elle risque une dépendance excessive ou un biais d’automatisation. « Lorsque nous nous appuyons trop sur ce que l'ordinateur nous dit, c'est un problème, car l'IA n'a pas toujours raison, conclut le Dr Yi. Je pense qu'en tant que radiologues utilisant l'IA, nous devons être conscients de ces pièges et rester attentifs à nos modèles de diagnostic et à notre formation. »
Paolo Royan