Un grand modèle de langage open source pour concurrencer les modèles propriétaires
JEUDI 29 AOûT 2024
Soyez le premier à réagirLa Revue Radiology publie une étude allemande relative à la performance de Meta Llama 3, un grand modèle de langage open source qui concurrence les grands modèles propriétaires, tels que GPT-4 et Gemini. Les chercheurs ont soumis l’outil à un sous-ensemble de questions d'examen de type jury de radiologie et ont montré la pertinence de Meta Llama 3.
Les Grands Modèles de Langage (GML) montrent tous les jours un potentiel important pour diverses applications dans le domaine des soins de santé, notamment en radiologie. Cependant, la plupart des études consacrées à cette technologie se sont concentrées sur des modèles propriétaires tels que ChatGPT d'OpenAI et Gemini de Google.
Ces modèles se sont révélés prometteurs, mais leur statut exclusif constitue une limitation notable. Ils exigent que les données soient envoyées à l'extérieur de l'hôpital, ce qui soulève des problèmes de confidentialité. De plus, les mises à jour peuvent entraîner un comportement erratique. Il s’agit d’un risque majeur dans le domaine de la santé, où la fiabilité est essentielle. Les modèles open source offrent une solution qui permet un fonctionnement local au sein des hôpitaux, améliorant ainsi la confidentialité et la stabilité.
Des chercheurs allemands ont comparé les performances de Meta Llama 3, introduit par Meta AI en avril 2024, avec d'autres modèles open source et des modèles propriétaires de premier plan, en utilisant le test de formation 2022 de l'American College of Radiology (ACR) et des questions relatives aux examens de radiologie posées par 85 radiologues, à l'exclusion des images. Ils ont consigné leurs recherches dans la Revue Radiology.
Sur les 50 questions du test ACR de formation, Llama-3-70B a dominé les modèles open source avec une précision de 74 % (37/50). Pour les 85 questions, Llama-3-70B a atteint une précision de 80 % (68/85), surpassant largement GPT-3.5-Turbo à 61 % (52/85). « Les performances de Llama 3 sur un sous-ensemble de questions de type jury de radiologie soulignent le potentiel important et la compétitivité croissante des GML open source dans le domaine de la santé », ont conclu les chercheurs.
Paolo Royan