ClinicalBench: Können LLMs traditionelle ML-Modelle bei klinischen Vorhersagen übertreffen?

ClinicalBench: Can LLMs Beat Traditional ML Models in Clinical Prediction?

November 10, 2024

Autoren: Canyu Chen, Jian Yu, Shan Chen, Che Liu, Zhongwei Wan, Danielle Bitterman, Fei Wang, Kai Shu

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) versprechen, die aktuellen klinischen Systeme durch ihre überlegenen Fähigkeiten bei der Verarbeitung medizinischer Texte und medizinischer Zulassungsprüfungen zu revolutionieren. Gleichzeitig werden traditionelle ML-Modelle wie SVM und XGBoost nach wie vor hauptsächlich bei klinischen Vorhersageaufgaben eingesetzt. Eine aufkommende Frage lautet: Können LLMs traditionelle ML-Modelle in der klinischen Vorhersage übertreffen? Daher haben wir einen neuen Benchmark namens ClinicalBench entwickelt, um die klinischen Vorhersagemodellierungsfähigkeiten sowohl von allgemeinen als auch von medizinischen LLMs umfassend zu untersuchen und sie mit traditionellen ML-Modellen zu vergleichen. ClinicalBench umfasst drei gängige klinische Vorhersageaufgaben, zwei Datenbanken, 14 allgemeine LLMs, 8 medizinische LLMs und 11 traditionelle ML-Modelle. Durch umfangreiche empirische Untersuchungen haben wir festgestellt, dass sowohl allgemeine als auch medizinische LLMs, selbst bei unterschiedlichen Modellskalen und verschiedenen Aufforderungs- oder Feinabstimmungsstrategien, traditionelle ML-Modelle in der klinischen Vorhersage noch nicht übertreffen können. Dies wirft ein Licht auf ihre potenziellen Defizite im klinischen Denken und Entscheidungsfindung. Wir fordern zur Vorsicht auf, wenn Praktiker LLMs in klinischen Anwendungen einsetzen. ClinicalBench kann dazu genutzt werden, die Kluft zwischen der Entwicklung von LLMs für das Gesundheitswesen und der realen klinischen Praxis zu überbrücken.

English

Large Language Models (LLMs) hold great promise to revolutionize current clinical systems for their superior capacities on medical text processing tasks and medical licensing exams. Meanwhile, traditional ML models such as SVM and XGBoost have still been mainly adopted in clinical prediction tasks. An emerging question is Can LLMs beat traditional ML models in clinical prediction? Thus, we build a new benchmark ClinicalBench to comprehensively study the clinical predictive modeling capacities of both general-purpose and medical LLMs, and compare them with traditional ML models. ClinicalBench embraces three common clinical prediction tasks, two databases, 14 general-purpose LLMs, 8 medical LLMs, and 11 traditional ML models. Through extensive empirical investigation, we discover that both general-purpose and medical LLMs, even with different model scales, diverse prompting or fine-tuning strategies, still cannot beat traditional ML models in clinical prediction yet, shedding light on their potential deficiency in clinical reasoning and decision-making. We call for caution when practitioners adopt LLMs in clinical applications. ClinicalBench can be utilized to bridge the gap between LLMs' development for healthcare and real-world clinical practice.