多モーダルLLMに心電図画像の理解を教える

Teach Multimodal LLMs to Comprehend Electrocardiographic Images

October 21, 2024

著者: Ruoqi Liu, Yuelin Bai, Xiang Yue, Ping Zhang

cs.AI

要旨

心電図（ECG）は、心臓疾患を評価するための重要な非侵襲的診断ツールです。既存の自動解釈手法は一部の心臓疾患に焦点を当て、一般化が限定されており、通常、生理学的信号を使用しますが、資源が限られた環境では印刷物やデジタルのECG画像のみが利用可能な場合があります。最近の多様なデータソースからのECG関連タスクをカバーする100万以上のサンプルを含む包括的なECG画像インストラクションチューニングデータセットであるECGInstructを紹介します。ECGInstructを使用して、ECG画像理解に特化したMLLMであるPULSEを開発します。さらに、9つの異なるデータセットを対象とする4つの主要なECG画像解釈タスクをカバーする新しい評価ベンチマークであるECGBenchをキュレーションします。実験の結果、PULSEは一般的なMLLMを上回り、平均精度が15％から30％向上することが示されました。この研究は、PULSEが臨床実践におけるECG解釈の向上の可能性を示しています。

English

The electrocardiogram (ECG) is an essential non-invasive diagnostic tool for assessing cardiac conditions. Existing automatic interpretation methods suffer from limited generalizability, focusing on a narrow range of cardiac conditions, and typically depend on raw physiological signals, which may not be readily available in resource-limited settings where only printed or digital ECG images are accessible. Recent advancements in multimodal large language models (MLLMs) present promising opportunities for addressing these challenges. However, the application of MLLMs to ECG image interpretation remains challenging due to the lack of instruction tuning datasets and well-established ECG image benchmarks for quantitative evaluation. To address these challenges, we introduce ECGInstruct, a comprehensive ECG image instruction tuning dataset of over one million samples, covering a wide range of ECG-related tasks from diverse data sources. Using ECGInstruct, we develop PULSE, an MLLM tailored for ECG image comprehension. In addition, we curate ECGBench, a new evaluation benchmark covering four key ECG image interpretation tasks across nine different datasets. Our experiments show that PULSE sets a new state-of-the-art, outperforming general MLLMs with an average accuracy improvement of 15% to 30%. This work highlights the potential of PULSE to enhance ECG interpretation in clinical practice.