Diagnostic en mammographie : gare au biais d'automatisation !
VENDREDI 05 MAI 2023
Soyez le premier à réagirSelon une nouvelle étude publiée dans Radiology, les systèmes d'aide à la décision basés sur l'IA pourraient sérieusement nuire aux performances des radiologues à tous les niveaux d'expertise lors de la lecture des mammographies. Les chercheurs ont réalisé que les radiologues, même expérimentés, étaient sujets au biais d’automatisation.
Souvent présentés comme une « deuxième paire d'yeux » pour les radiologues, les systèmes d'assistance à la décision en mammographique basés sur l'IA sont l'une des applications les plus prometteuses de l'IA en radiologie.
Le biais d’automatisation peut-il toucher les radiologues utilisant l’IA pour interpréter les mammographies ?
Mais à mesure que la technologie se développe, on craint qu'elle ne rende les radiologues sensibles au biais d'automatisation, c’est à dire la propension des humains à favoriser les suggestions des systèmes de prise de décision automatisés. Plusieurs études ont montré que l'introduction de la détection assistée par ordinateur dans le flux de travail de la mammographie pouvait nuire aux performances du radiologue. Cependant, aucune étude n'a examiné l'influence des systèmes basés sur l'IA sur la performance des lectures précises de mammographie par les radiologues.
C’est la raison pour laquelle des chercheurs d'institutions allemandes et néerlandaises ont cherché à déterminer comment le biais d'automatisation peut affecter les radiologues à différents niveaux d'expérience lors de la lecture de mammographies à l'aide d'un système d'IA. Ils ont publié leur travail dans la Revue Radiology.
Les radiologues étudiés, même expérimentés, semblent conditionnés par les suggestions apportées par l’IA
Dans cette étude prospective, 27 radiologues ont lu 50 mammographies. Ils ont ensuite fourni leur évaluation, selon le système Breast Imaging Reporting and Data System (BI-RADS), assistée par un système d'IA. Bien que la catégorisation BI-RADS ne soit pas un diagnostic, elle est essentielle pour aider les praticiens à déterminer les prochaines étapes des soins. Les chercheurs ont présenté les mammographies en deux ensembles randomisés. Le premier était un ensemble de 10 examens dans lequel l'IA suggérait la bonne catégorie BI-RADS. Le deuxième ensemble contenait des catégories BI-RADS incorrectes prétendument suggérées par AI, dans 12 des 40 mammographies restantes.
Les résultats ont montré que les radiologues étaient nettement moins performants pour attribuer des scores BI-RADS cohérents aux examens dans lesquels l’IA suggérait une catégorie BI-RADS incorrecte. Par exemple, des radiologues inexpérimentés ont attribué le bon score BI-RADS dans près de 80 % des cas où l'IA l’avait suggéré. Lorsque l’IA a suggéré une mauvaise catégorie, leur précision est tombée à moins de 20 %. Les radiologues expérimentés - ceux qui ont plus de 15 ans d'expérience en moyenne - ont quant à eux vu leur précision chuter de 82% à 45,5% lorsque la prétendue IA suggérait la mauvaise catégorie.
De la nécessité de mieux prendre en compte l’interaction homme-machine pour garantir des diagnostics fiables
« Nous avions prévu que des prédictions d'IA inexactes influenceraient les décisions prises par les radiologues dans notre étude, en particulier ceux qui ont moins d'expérience, a déclaré l'auteur principal de l'étude, le Pr Thomas Dratsch, de l'Institut de radiologie diagnostique et interventionnelle de l’Hôpital de Cologne (Allemagne). Néanmoins, il était surprenant de constater que même les radiologues très expérimentés étaient affectés par les jugements du système d'IA, bien que dans une moindre mesure que leurs homologues moins expérimentés. »
Ces résultats montrent qu’il faut prendre en compte soigneusement les effets de l'interaction homme-machine pour garantir un déploiement sûr et des performances diagnostiques précises lors de la combinaison de lecteurs humains et d'IA. « Compte tenu de la nature répétitive et hautement standardisée du dépistage par mammographie, le biais d'automatisation peut devenir un problème lorsqu'un système d'IA est intégré au flux de travail, ajoute le Pr Dratsch. Nos résultats soulignent la nécessité de mettre en œuvre des garanties appropriées lors de l'intégration de l'IA dans le processus radiologique pour atténuer les conséquences négatives du biais d'automatisation. »
Informer les praticiens sur le processus de raisonnement des systèmes et utiliser la technologie de suivi oculaire
Parmi les garanties possibles, la présentation aux utilisateurs des niveaux de confiance du système d'aide à la décision. Dans le cas d'un système basé sur l'IA, cela pourrait être fait en montrant la probabilité de chaque sortie. Une autre stratégie consiste à enseigner aux utilisateurs le processus de raisonnement du système. S'assurer que les utilisateurs d'un système d'aide à la décision se sentent responsables de leurs propres décisions peut également contribuer à réduire le biais d'automatisation. »
Les chercheurs prévoient d'utiliser des outils tels que la technologie de suivi oculaire pour mieux comprendre le processus de prise de décision des radiologues utilisant l'IA. « De plus, nous aimerions explorer les méthodes les plus efficaces pour présenter les résultats de l'IA aux radiologues d'une manière qui encourage l'engagement critique tout en évitant les pièges du biais d'automatisation", conclut le Pr Dratsch.
Bruno Benque avec RSNA