ClinicalBench: Gli LLM possono battere i modelli ML tradizionali nella predizione clinica?

ClinicalBench: Can LLMs Beat Traditional ML Models in Clinical Prediction?

November 10, 2024

Autori: Canyu Chen, Jian Yu, Shan Chen, Che Liu, Zhongwei Wan, Danielle Bitterman, Fei Wang, Kai Shu

cs.AI

Abstract

I Large Language Models (LLM) promettono di rivoluzionare i sistemi clinici attuali per le loro capacità superiori nelle attività di elaborazione del testo medico e negli esami di licenza medica. Nel frattempo, modelli di ML tradizionali come SVM e XGBoost sono ancora principalmente adottati nelle attività di previsione clinica. Una domanda emergente è: possono i LLM battere i modelli di ML tradizionali nella previsione clinica? Pertanto, abbiamo sviluppato un nuovo benchmark, ClinicalBench, per studiare in modo esaustivo le capacità di modellazione predittiva clinica sia dei LLM generici che di quelli medici e confrontarli con i modelli di ML tradizionali. ClinicalBench include tre comuni attività di previsione clinica, due basi di dati, 14 LLM generici, 8 LLM medici e 11 modelli di ML tradizionali. Attraverso un'ampia indagine empirica, scopriamo che sia i LLM generici che quelli medici, anche con diverse scale di modello, strategie di prompt diverse o di fine-tuning, non riescono ancora a battere i modelli di ML tradizionali nella previsione clinica, mettendo in luce le loro potenziali carenze nel ragionamento e nella presa di decisioni cliniche. Invitiamo alla cautela quando i professionisti adottano i LLM nelle applicazioni cliniche. ClinicalBench può essere utilizzato per colmare il divario tra lo sviluppo dei LLM per la sanità e la pratica clinica reale.

English

Large Language Models (LLMs) hold great promise to revolutionize current clinical systems for their superior capacities on medical text processing tasks and medical licensing exams. Meanwhile, traditional ML models such as SVM and XGBoost have still been mainly adopted in clinical prediction tasks. An emerging question is Can LLMs beat traditional ML models in clinical prediction? Thus, we build a new benchmark ClinicalBench to comprehensively study the clinical predictive modeling capacities of both general-purpose and medical LLMs, and compare them with traditional ML models. ClinicalBench embraces three common clinical prediction tasks, two databases, 14 general-purpose LLMs, 8 medical LLMs, and 11 traditional ML models. Through extensive empirical investigation, we discover that both general-purpose and medical LLMs, even with different model scales, diverse prompting or fine-tuning strategies, still cannot beat traditional ML models in clinical prediction yet, shedding light on their potential deficiency in clinical reasoning and decision-making. We call for caution when practitioners adopt LLMs in clinical applications. ClinicalBench can be utilized to bridge the gap between LLMs' development for healthcare and real-world clinical practice.