Insegnare ai Modelli di Linguaggio Multimodali a Comprendere Immagini Elettrocardiografiche

Teach Multimodal LLMs to Comprehend Electrocardiographic Images

October 21, 2024

Autori: Ruoqi Liu, Yuelin Bai, Xiang Yue, Ping Zhang

cs.AI

Abstract

L'elettrocardiogramma (ECG) è uno strumento diagnostico non invasivo essenziale per valutare le condizioni cardiache. I metodi esistenti di interpretazione automatica soffrono di limitata generalizzabilità, concentrandosi su una stretta gamma di condizioni cardiache e dipendendo tipicamente da segnali fisiologici grezzi, che potrebbero non essere facilmente disponibili in contesti con risorse limitate dove sono accessibili solo immagini ECG stampate o digitali. I recenti progressi nei modelli linguistici multimodali di grandi dimensioni (MLLMs) presentano opportunità promettenti per affrontare queste sfide. Tuttavia, l'applicazione dei MLLMs all'interpretazione delle immagini ECG rimane difficile a causa della mancanza di set di dati di sintonizzazione delle istruzioni e benchmark di immagini ECG ben definiti per valutazioni quantitative. Per affrontare queste sfide, presentiamo ECGInstruct, un ampio set di dati di sintonizzazione delle istruzioni per immagini ECG di oltre un milione di campioni, che copre una vasta gamma di compiti correlati all'ECG da diverse fonti di dati. Utilizzando ECGInstruct, sviluppiamo PULSE, un MLLM adattato per la comprensione delle immagini ECG. Inoltre, curiamo ECGBench, un nuovo benchmark di valutazione che copre quattro compiti chiave di interpretazione delle immagini ECG su nove diversi set di dati. I nostri esperimenti mostrano che PULSE stabilisce un nuovo stato dell'arte, superando i MLLMs generali con un miglioramento medio dell'accuratezza del 15% al 30%. Questo lavoro evidenzia il potenziale di PULSE per migliorare l'interpretazione dell'ECG nella pratica clinica.

English

The electrocardiogram (ECG) is an essential non-invasive diagnostic tool for assessing cardiac conditions. Existing automatic interpretation methods suffer from limited generalizability, focusing on a narrow range of cardiac conditions, and typically depend on raw physiological signals, which may not be readily available in resource-limited settings where only printed or digital ECG images are accessible. Recent advancements in multimodal large language models (MLLMs) present promising opportunities for addressing these challenges. However, the application of MLLMs to ECG image interpretation remains challenging due to the lack of instruction tuning datasets and well-established ECG image benchmarks for quantitative evaluation. To address these challenges, we introduce ECGInstruct, a comprehensive ECG image instruction tuning dataset of over one million samples, covering a wide range of ECG-related tasks from diverse data sources. Using ECGInstruct, we develop PULSE, an MLLM tailored for ECG image comprehension. In addition, we curate ECGBench, a new evaluation benchmark covering four key ECG image interpretation tasks across nine different datasets. Our experiments show that PULSE sets a new state-of-the-art, outperforming general MLLMs with an average accuracy improvement of 15% to 30%. This work highlights the potential of PULSE to enhance ECG interpretation in clinical practice.