À l’ère où l’intelligence artificielle (IA) générative promet de révolutionner de nombreux secteurs, pourquoi le domaine de la santé se montre-t-il à la fois intéressé et sceptique ? Les modèles d’IA générative sont de plus en plus présents dans le secteur de la santé, certains les adoptant avec enthousiasme, persuadés de leur potentiel à améliorer l’efficacité et à révéler des insights inédits. Mais quel est le revers de la médaille ?
Les critiques ne manquent pas de souligner les imperfections et les biais de ces modèles, qui pourraient aggraver les résultats de santé. Mais, peut-on quantifier de manière objective leur utilité ou leur nuisance lorsqu’il s’agit de synthétiser des dossiers de patients ou de répondre à des questions liées à la santé ?
Hugging Face, la startup spécialisée en IA, propose une réponse avec le lancement du test de benchmark Open Medical-LLM. En collaboration avec des chercheurs d’Open Life Science AI et du groupe de traitement du langage naturel de l’Université d’Edimbourg, ce benchmark vise à évaluer les performances des modèles d’IA générative sur une série de tâches médicales. Est-ce enfin la solution tant attendue pour standardiser l’évaluation de ces modèles ?
Open Medical-LLM, un nouveau benchmark pour évaluer l’IA en médecine, mais est-ce suffisant pour anticiper ses implications cliniques réelles ?
Ce benchmark n’est pas créé ex nihilo mais assemble des ensembles de tests déjà existants visant à sonder les modèles pour leurs connaissances médicales générales. Il contient des questions à choix multiples et ouvertes nécessitant du raisonnement médical, basées sur des examens de licence médicale des États-Unis et de l’Inde et des banques de questions de tests de biologie universitaire. Peut-on vraiment faire confiance à cette méthode pour garantir la fiabilité des modèles d’IA en contexte réel ?
Malgré l’enthousiasme, certains experts médicaux émettent des réserves sur l’excès de confiance envers Open Medical-LLM, craignant des déploiements mal informés. Le fossé entre les environnements contrôlés des tests et la pratique clinique réelle peut être considérable, comme le souligne Liam McCoy, médecin résident en neurologie. Les modèles d’IA répondent-ils réellement aux exigences de la pratique médicale quotidienne ?
La scientifique de Hugging Face, Clémentine Fourrier, admet que ces classements ne devraient être utilisés que comme une première approximation pour explorer un modèle d’IA pour un cas d’usage donné. Un examen plus approfondi des limites et de la pertinence du modèle dans des conditions réelles est essentiel. Mais les modèles d’IA médicale peuvent-ils vraiment se substituer à l’expertise médicale sans risque pour les patients ?
Le cas de l’outil de dépistage de la rétinopathie diabétique de Google en Thaïlande illustre parfaitement les limites pratiques de ces outils d’IA, malgré une précision théorique élevée. Frustration des patients et des infirmières, résultats inconsistants : l’écart entre la théorie et la pratique semble inévitable. Comment les modèles d’IA peuvent-ils alors s’intégrer harmonieusement dans les pratiques de santé quotidiennes ?
Il est révélateur qu’aucun des dispositifs médicaux liés à l’IA approuvés à ce jour par la FDA n’utilise d’IA générative. La difficulté de tester la performance de ces outils d’IA dans des environnements cliniques et leur évolution dans le temps reste un défi majeur. Les benchmarks comme Open Medical-LLM, bien qu’utiles, peuvent-ils vraiment remplacer des tests en conditions réelles méticuleusement planifiés ?
Source : Techcrunch
