ChatGPT ou médecins : qui répond le mieux aux questions de santé ?

Des IA plus ou moins fiables selon les spécialités de médecine

Pour arriver à ces résultats, qui seront présentés lors d’une conférence fin juin, les chercheurs ont étudié comment les internautes utilisent concrètement les grands modèles de langage (LLM), comme ChatGPT ou Gemini, pour obtenir des conseils médicaux. « Nous voulions comprendre si les personnes utilisent les LLM comme un vérificateur de symptômes, un peu comme elles utilisaient Google auparavant, et dans quelle mesure les réponses sont exactes ou potentiellement dangereuses », explique Amulya Yadav, professeur à Penn State, dans un communiqué.

Pour cela, l’équipe a organisé un concours baptisé « Diagnose-a-thon » : 34 participants ont soumis à une IA générative un total de 212 questions portant sur des problèmes de santé réels ou fictifs. Les réponses générées par ChatGPT-4o, ChatGPT-3.5, Gemini-1.5 Pro et Llama3-8b ont ensuite été évaluées par neuf médecins certifiés.

Verdict : 76,2 % des réponses produites par les IA étaient médicalement correctes. Certaines spécialités, comme la gynécologie-obstétrique ou l’oto-rhino-laryngologie (ORL), ont affiché de bonnes performances avec peu de réponses jugées dangereuses. En revanche, les résultats se sont révélés beaucoup plus mitigés dans des domaines comme la médecine interne, la neurologie ou la dermatologie. Dans ces spécialités, les réponses étaient moins fiables, et faisaient donc courir davantage de risques potentiels pour les patients. A noter, sans grande surprise, que les questions très précises, formulées en 60 à 250 caractères, obtenaient généralement les réponses les plus pertinentes.