Les propos déroutants de GPT-4 appliqué à la radiologie

ChatGPT, le chatbot d'intelligence artificielle (IA) qui utilise un modèle de deep learning pour reconnaître les modèles et les relations entre les mots dans de vastes bases de données, n’a pas de base scientifique solide dans ses données d'entraînement, ce qui peut générer chez lui des réponses factuellement incorrectes.

Évaluation de GPT-3.5 pour des données radiologiques dans une étude canadienne

Pour évaluer ses performances sur les comptes rendus de radiologie et explorer ses forces et ses limites, le Dr Bhayana, radiologue abdominal et responsable de la technologie à l'University Medical Imaging Toronto du Toronto General Hospital (Canada) et ses collègues ont réalisé une étude au cours de laquelle ils ont d'abord testé ChatGPT basé sur GPT-3.5, actuellement la version la plus couramment utilisée. Pour ce travail publié dans la Revue Radiology, ils ont utilisé 150 questions à choix multiples conçues pour correspondre au style, au contenu et à la difficulté des examens du Canadian Royal College and American Board of Radiology.

« L'utilisation de grands modèles de langage comme ChatGPT explose et ne fera qu'augmenter, précise le Dr Rajesh Bhayana. Notre recherche donne un aperçu des performances de ChatGPT dans un contexte de radiologie, soulignant l'incroyable potentiel des grands modèles de langage, ainsi que les limitations actuelles qui le rendent peu fiable. »