Des algorithmes très performants issus du dernier RSNA AI challenge pour la mammographie de dépistage

Le RSNA Screening Mammography Breast Cancer Detection AI Challenge était un concours participatif organisé lors du congrès RSNA 2023, avec plus de 1 500 équipes participantes. IL fait l’objet d’un article dans la Revue Radiology, qui analyse les performances des algorithmes mis en jeu dans ce cadre.

Un challenge qui a engendré des algorithmes très performants pour le dépistage du cancer du sein

« Nous avons été impressionnés par le nombre de participants et par le nombre d'algorithmes d'IA soumis dans le cadre du challenge, explique le Pr Yan Chen, professeure en dépistage du cancer à l'Université de Nottingham (Royaume-Uni). C'est l'un des challenges d'IA de la RSNA les plus populaires. Nous avons également été impressionnés par les performances des algorithmes, compte tenu du délai relativement court imparti pour leur développement et de la nécessité de se procurer des données d'apprentissage en open source. »

L'objectif du Challenge était de trouver des modèles d'IA permettant d'automatiser la détection du cancer lors des mammographies de dépistage, d'aider les radiologues à travailler plus efficacement, d'améliorer la qualité et la sécurité des soins aux patients, et potentiellement de réduire les coûts et les procédures médicales inutiles.

Des outils testés sur plus de 10 000 mammographies par une équipe de chercheurs

L'Université Emory d'Atlanta (Géorgie – USA) et BreastScreen Victoria (Australie) ont fourni pour ce challenge un ensemble de données d'entraînement d'environ 11 000 images de dépistage du cancer du sein.

L'équipe de recherche du Pr Chen a évalué 1 537 algorithmes opérationnels soumis au Challenge, les testant sur un ensemble de 10 830 mammographies différentes des données d’entrée et dont les résultats d'anatomopathologie ont confirmé la présence ou la non- présence de cancer. Au total, les algorithmes ont obtenu des taux médians de spécificité de 98,7% pour confirmer l'absence de cancer sur les mammographies, de sensibilité de 27,6% pour identifier positivement le cancer et de taux de rappel de 1,7%. En combinant les 3 et 10 algorithmes les plus performants, les chercheurs ont obtenu une sensibilité respectivement de 60,7 % et 67,8 %.

Les performances des 10 meilleurs algorithmes proches de celles d’un radiologue moyen

« Lors de l'assemblage des algorithmes les plus performants, nous avons été surpris de constater la complémentarité des différents algorithmes d'IA, permettant d’identifier différents cancers, poursuit le Pr Chen. Les algorithmes avaient des seuils optimisés pour une valeur prédictive positive et une spécificité élevée, de sorte que différentes caractéristiques cancéreuses sur différentes images déclenchaient des scores élevés différemment selon les algorithmes. »

Selon les chercheurs, la création d'un ensemble des 10 algorithmes les plus performants a produit des performances proches de celles d'un radiologue de dépistage moyen en Europe ou en Australie. Globalement, les algorithmes ont montré une plus grande sensibilité pour la détection des cancers invasifs que pour les cancers non invasifs.

Des études complémentaires en projet pour inclusion dans la pratique clinique

Comme de nombreux modèles d'IA des participants sont open source, les résultats du Challenge pourraient contribuer à l'amélioration des outils d'IA expérimentaux et commerciaux pour la mammographie. « En rendant publics les algorithmes et un ensemble complet de données d'imagerie, les participants fournissent des ressources précieuses qui peuvent alimenter la recherche et permettre l'analyse comparative nécessaire à l'intégration efficace et sûre de l'IA dans la pratique clinique », ajoute-t-elle.

L'équipe de recherche prévoit de mener des études complémentaires pour comparer les performances des principaux algorithmes du Challenge à celles des produits disponibles sur le marché, en utilisant un ensemble de données plus vaste et plus diversifié. Elle prévoit également d’évaluer l'efficacité d'ensembles de tests plus petits et plus difficiles avec des repères de lecture humaine robustes pour garantir la qualité des performances des radiologues en tant qu'approche d'évaluation de l'IA.