Lehre Multimodal LLMs, elektrokardiografische Bilder zu verstehen.

Teach Multimodal LLMs to Comprehend Electrocardiographic Images

October 21, 2024

Autoren: Ruoqi Liu, Yuelin Bai, Xiang Yue, Ping Zhang

cs.AI

Zusammenfassung

Das Elektrokardiogramm (EKG) ist ein wesentliches nicht-invasives Diagnosewerkzeug zur Bewertung von Herzkrankheiten. Bestehende automatische Interpretationsmethoden leiden unter begrenzter Verallgemeinerbarkeit, konzentrieren sich auf eine schmale Palette von Herzkrankheiten und sind in der Regel abhängig von rohen physiologischen Signalen, die möglicherweise nicht in ressourcenbeschränkten Umgebungen verfügbar sind, in denen nur gedruckte oder digitale EKG-Bilder zugänglich sind. Die jüngsten Fortschritte in multimodalen großen Sprachmodellen (MLLMs) bieten vielversprechende Möglichkeiten zur Bewältigung dieser Herausforderungen. Die Anwendung von MLLMs zur Interpretation von EKG-Bildern bleibt jedoch aufgrund des Mangels an Anleitungstuning-Datensätzen und etablierten EKG-Bild-Benchmarks für quantitative Bewertungen herausfordernd. Um diese Herausforderungen anzugehen, stellen wir ECGInstruct vor, einen umfassenden EKG-Bild-Anleitungstuning-Datensatz mit über einer Million Beispielen, der eine breite Palette von EKG-bezogenen Aufgaben aus verschiedenen Datenquellen abdeckt. Unter Verwendung von ECGInstruct entwickeln wir PULSE, ein MLLM, das speziell für das Verständnis von EKG-Bildern entwickelt wurde. Darüber hinaus kuratieren wir ECGBench, einen neuen Bewertungsbenchmark, der vier Schlüsselaufgaben zur Interpretation von EKG-Bildern über neun verschiedene Datensätze abdeckt. Unsere Experimente zeigen, dass PULSE einen neuen Stand der Technik setzt und allgemeine MLLMs mit einer durchschnittlichen Genauigkeitsverbesserung von 15 % bis 30 % übertrifft. Diese Arbeit hebt das Potenzial von PULSE zur Verbesserung der EKG-Interpretation in der klinischen Praxis hervor.

English

The electrocardiogram (ECG) is an essential non-invasive diagnostic tool for assessing cardiac conditions. Existing automatic interpretation methods suffer from limited generalizability, focusing on a narrow range of cardiac conditions, and typically depend on raw physiological signals, which may not be readily available in resource-limited settings where only printed or digital ECG images are accessible. Recent advancements in multimodal large language models (MLLMs) present promising opportunities for addressing these challenges. However, the application of MLLMs to ECG image interpretation remains challenging due to the lack of instruction tuning datasets and well-established ECG image benchmarks for quantitative evaluation. To address these challenges, we introduce ECGInstruct, a comprehensive ECG image instruction tuning dataset of over one million samples, covering a wide range of ECG-related tasks from diverse data sources. Using ECGInstruct, we develop PULSE, an MLLM tailored for ECG image comprehension. In addition, we curate ECGBench, a new evaluation benchmark covering four key ECG image interpretation tasks across nine different datasets. Our experiments show that PULSE sets a new state-of-the-art, outperforming general MLLMs with an average accuracy improvement of 15% to 30%. This work highlights the potential of PULSE to enhance ECG interpretation in clinical practice.