Leer Multimodale LLM's om Elektrocardiografische Afbeeldingen te Begrijpen

Teach Multimodal LLMs to Comprehend Electrocardiographic Images

October 21, 2024

Auteurs: Ruoqi Liu, Yuelin Bai, Xiang Yue, Ping Zhang

cs.AI

Samenvatting

Het elektrocardiogram (ECG) is een essentieel niet-invasief diagnostisch hulpmiddel voor het beoordelen van hartcondities. Bestaande automatische interpretatiemethoden kampen met beperkte generaliseerbaarheid, richten zich op een beperkt scala aan hartcondities en zijn doorgaans afhankelijk van ruwe fysiologische signalen, die mogelijk niet direct beschikbaar zijn in omgevingen met beperkte middelen waar alleen geprinte of digitale ECG-afbeeldingen toegankelijk zijn. Recente ontwikkelingen in multimodale grote taalmodellen (MLLM's) bieden veelbelovende mogelijkheden om deze uitdagingen aan te pakken. De toepassing van MLLM's op ECG-afbeeldingsinterpretatie blijft echter uitdagend vanwege het gebrek aan instructie-afstemmingsdatasets en goed gevestigde ECG-afbeeldingsbenchmarks voor kwantitatieve evaluatie. Om deze uitdagingen aan te pakken, introduceren we ECGInstruct, een uitgebreide ECG-afbeeldingsinstructie-afstemmingsdataset van meer dan één miljoen voorbeelden, die een breed scala aan ECG-gerelateerde taken uit diverse gegevensbronnen bestrijkt. Met behulp van ECGInstruct ontwikkelen we PULSE, een MLLM op maat gemaakt voor ECG-afbeeldingsbegrip. Daarnaast cureren we ECGBench, een nieuwe evaluatiebenchmark die vier belangrijke ECG-afbeeldingsinterpretatietaken bestrijkt over negen verschillende datasets. Onze experimenten tonen aan dat PULSE een nieuwe state-of-the-art neerzet, waarbij het algemene MLLM's overtreft met een gemiddelde nauwkeurigheidsverbetering van 15% tot 30%. Dit werk benadrukt het potentieel van PULSE om de ECG-interpretatie in de klinische praktijk te verbeteren.

English

The electrocardiogram (ECG) is an essential non-invasive diagnostic tool for assessing cardiac conditions. Existing automatic interpretation methods suffer from limited generalizability, focusing on a narrow range of cardiac conditions, and typically depend on raw physiological signals, which may not be readily available in resource-limited settings where only printed or digital ECG images are accessible. Recent advancements in multimodal large language models (MLLMs) present promising opportunities for addressing these challenges. However, the application of MLLMs to ECG image interpretation remains challenging due to the lack of instruction tuning datasets and well-established ECG image benchmarks for quantitative evaluation. To address these challenges, we introduce ECGInstruct, a comprehensive ECG image instruction tuning dataset of over one million samples, covering a wide range of ECG-related tasks from diverse data sources. Using ECGInstruct, we develop PULSE, an MLLM tailored for ECG image comprehension. In addition, we curate ECGBench, a new evaluation benchmark covering four key ECG image interpretation tasks across nine different datasets. Our experiments show that PULSE sets a new state-of-the-art, outperforming general MLLMs with an average accuracy improvement of 15% to 30%. This work highlights the potential of PULSE to enhance ECG interpretation in clinical practice.