Essais sur une RAG pour améliorer les grands modèles de langages en radiologie
LUNDI 05 MAI 2025
Soyez le premier à réagirPour renforcer les attributs des grands modèles de langage appliqués à la radiologie, la RAG, qui code les informations dans un espace vectoriel pour affiner les tâches des LLM basées sur la connaissance, semble pertinente. Dans une étude publiée dans la Revue Radiology : Artificial intelligence, des chercheurs testent une RAG sur les plus connus des LLM d’analyse des images radiologiques.
Les grands modèles de langage (LLM) utilisant une architecture basée sur le machine learning peuvent apprendre, synthétiser et extraire des informations en langage naturel dans plusieurs domaines, dont la radiologie diagnostique. Ces modèles affichent des performances impressionnantes pour diverses tâches, telles que répondre à des questions, modifier des comptes rendus de radiologie et même générer des impressions de compte rendu.
La RAG pour renforcer les attributs des grands modèles de langage appliqués à la radiologie
Mais ces modèles sont susceptibles de créer des hallucinations, génèrent des contraintes en termes de ressources informatiques et économiques et sont d’autre part peu sûrs quant à la confidentialité des données patients, ce qui limite actuellement leur intégration généralisée dans les flux de travail cliniques.
La génération augmentée de récupération (Retrieval-augmented generation - RAG) est une stratégie visant à améliorer les performances de ces grands modèles de langage en leur fournissant un corpus de connaissances actualisé pouvant être utilisé pour la génération de réponses en temps réel. Le texte pertinent de la base de connaissances est combiné aux invites de l'utilisateur afin de fournir la meilleure réponse basée sur ce corpus d'informations, ce qui pourrait permettre à la RAG de répondre aux préoccupations liées aux LLM sans nécessiter de réglages coûteux, tout en servant d'assistant au flux de travail clinique.
Des informations codées dans un espace vectoriel pour affiner les tâches des LLM basées sur la connaissance
Techniquement, le RAG implique l'orchestration d'un corpus d'informations dans un format vectorisé à l'aide d'une méthode de récupération et d'un LLM de base. L'information est codée dans un espace vectoriel de grande dimension à l'aide d'un modèle d'intégration, ce qui permet une recherche de similarité efficace et la récupération de documents à partir d'une base de données vectorielle stockant les index d'intégration. Les documents récupérés sont ensuite fournis au LLM pour servir de contexte à la génération du modèle final ce qui permet, au final, d’améliorer les tâches basées sur la connaissance, notamment la réponse à des questions simples, la génération de textes ou d'images ouverts.
Des chercheurs testent une RAG sur les plus connus des LLM d’analyse des images radiologiques
Une étude rétrospective publiée dans la Revue Radiology : Artificial intelligence se penche sur ce problème. Un système RAG spécifique à la radiologie a été développé à l'aide d'une base de données vectorielle de 3689 articles publiés dans la Revue RadioGraphics de janvier 1999 à décembre 2023. Les performances de cinq LLM avec RAG-systems et sans RAG sur un examen de radiologie de 192 questions ont été comparées. Les chercheurs ont montré que le RAG a significativement amélioré les scores d'examen pour GPT-4 et Command R+, mais pas pour Claude Opus, Mixtral ou Gemini 1.5 Pro.
RAG-Systems a obtenu des résultats significativement meilleurs que les LLM purs sur un sous-ensemble de 24 questions provenant directement de RadioGraphics (85 % contre 76 %). RAG-Systems a extrait 21 des 24 références RadioGraphics pertinentes citées dans les explications des réponses de l'examen et les a citées avec succès dans 18 des 21 résultats. Les résultats suggèrent que la RAG est une approche prometteuse pour améliorer les capacités des LLM pour les tâches de connaissances en radiologie, en offrant une recherche d'informations transparente et spécifique au domaine.
Paolo Royan