ClinicalBench: Kunnen LLM's Traditionele ML-Modellen Verslaan in Klinische Voorspellingen?

ClinicalBench: Can LLMs Beat Traditional ML Models in Clinical Prediction?

November 10, 2024

Auteurs: Canyu Chen, Jian Yu, Shan Chen, Che Liu, Zhongwei Wan, Danielle Bitterman, Fei Wang, Kai Shu

cs.AI

Samenvatting

Grote taalmodellen (LLM's) beloven de huidige klinische systemen te revolutioneren vanwege hun superieure capaciteiten op medische tekstverwerkingstaken en medische licentie-examens. Ondertussen worden traditionele ML-modellen zoals SVM en XGBoost nog steeds voornamelijk gebruikt bij klinische voorspellingstaken. Een opkomende vraag is of LLM's traditionele ML-modellen kunnen verslaan in klinische voorspellingen. Daarom hebben we een nieuwe benchmark, ClinicalBench, ontwikkeld om uitgebreid de klinische voorspellende modelleringscapaciteiten van zowel algemene als medische LLM's te bestuderen en ze te vergelijken met traditionele ML-modellen. ClinicalBench omvat drie veelvoorkomende klinische voorspellingstaken, twee databases, 14 algemene LLM's, 8 medische LLM's en 11 traditionele ML-modellen. Uit uitgebreid empirisch onderzoek blijkt dat zowel algemene als medische LLM's, zelfs met verschillende modelgroottes, diverse aansturings- of fijnafstemmingsstrategieën, nog steeds niet kunnen winnen van traditionele ML-modellen in klinische voorspellingen, wat wijst op hun potentiële tekortkomingen in klinisch redeneren en besluitvorming. We roepen op tot voorzichtigheid wanneer beoefenaars LLM's in klinische toepassingen gebruiken. ClinicalBench kan worden gebruikt om de kloof te overbruggen tussen de ontwikkeling van LLM's voor de gezondheidszorg en de klinische praktijk in de echte wereld.

English

Large Language Models (LLMs) hold great promise to revolutionize current clinical systems for their superior capacities on medical text processing tasks and medical licensing exams. Meanwhile, traditional ML models such as SVM and XGBoost have still been mainly adopted in clinical prediction tasks. An emerging question is Can LLMs beat traditional ML models in clinical prediction? Thus, we build a new benchmark ClinicalBench to comprehensively study the clinical predictive modeling capacities of both general-purpose and medical LLMs, and compare them with traditional ML models. ClinicalBench embraces three common clinical prediction tasks, two databases, 14 general-purpose LLMs, 8 medical LLMs, and 11 traditional ML models. Through extensive empirical investigation, we discover that both general-purpose and medical LLMs, even with different model scales, diverse prompting or fine-tuning strategies, still cannot beat traditional ML models in clinical prediction yet, shedding light on their potential deficiency in clinical reasoning and decision-making. We call for caution when practitioners adopt LLMs in clinical applications. ClinicalBench can be utilized to bridge the gap between LLMs' development for healthcare and real-world clinical practice.