ClinicalBench : Les LLMs Peuvent-ils Battre les Modèles ML Traditionnels dans la Prédiction Clinique ?

ClinicalBench: Can LLMs Beat Traditional ML Models in Clinical Prediction?

November 10, 2024

Auteurs: Canyu Chen, Jian Yu, Shan Chen, Che Liu, Zhongwei Wan, Danielle Bitterman, Fei Wang, Kai Shu

cs.AI

Résumé

Les grands modèles de langage (LLM) offrent de grandes promesses pour révolutionner les systèmes cliniques actuels en raison de leurs capacités supérieures dans les tâches de traitement de texte médical et les examens de licence médicale. Pendant ce temps, des modèles ML traditionnels tels que SVM et XGBoost ont encore principalement été adoptés dans les tâches de prédiction clinique. Une question émergente est de savoir si les LLM peuvent surpasser les modèles ML traditionnels en matière de prédiction clinique. Ainsi, nous avons mis en place un nouveau banc d'essai, ClinicalBench, pour étudier de manière exhaustive les capacités de modélisation prédictive clinique des LLM à usage général et médicaux, et les comparer aux modèles ML traditionnels. ClinicalBench englobe trois tâches courantes de prédiction clinique, deux bases de données, 14 LLM à usage général, 8 LLM médicaux et 11 modèles ML traditionnels. À travers une investigation empirique approfondie, nous découvrons que tant les LLM à usage général que les LLM médicaux, même avec des échelles de modèle différentes, des stratégies de formulation de requêtes ou de fine-tuning diverses, ne peuvent toujours pas surpasser les modèles ML traditionnels en matière de prédiction clinique, mettant en lumière leurs éventuelles lacunes en matière de raisonnement clinique et de prise de décision. Nous appelons à la prudence lorsque les praticiens adoptent les LLM dans les applications cliniques. ClinicalBench peut être utilisé pour combler le fossé entre le développement des LLM pour les soins de santé et la pratique clinique réelle.

English

Large Language Models (LLMs) hold great promise to revolutionize current clinical systems for their superior capacities on medical text processing tasks and medical licensing exams. Meanwhile, traditional ML models such as SVM and XGBoost have still been mainly adopted in clinical prediction tasks. An emerging question is Can LLMs beat traditional ML models in clinical prediction? Thus, we build a new benchmark ClinicalBench to comprehensively study the clinical predictive modeling capacities of both general-purpose and medical LLMs, and compare them with traditional ML models. ClinicalBench embraces three common clinical prediction tasks, two databases, 14 general-purpose LLMs, 8 medical LLMs, and 11 traditional ML models. Through extensive empirical investigation, we discover that both general-purpose and medical LLMs, even with different model scales, diverse prompting or fine-tuning strategies, still cannot beat traditional ML models in clinical prediction yet, shedding light on their potential deficiency in clinical reasoning and decision-making. We call for caution when practitioners adopt LLMs in clinical applications. ClinicalBench can be utilized to bridge the gap between LLMs' development for healthcare and real-world clinical practice.