다중 모달 LLMs에게 심전도 이미지를 이해하도록 가르치기

Teach Multimodal LLMs to Comprehend Electrocardiographic Images

October 21, 2024

저자: Ruoqi Liu, Yuelin Bai, Xiang Yue, Ping Zhang

cs.AI

초록

심전도(전기 심전도, ECG)는 심장 질환을 평가하는 필수적인 비침습 진단 도구입니다. 기존의 자동 해석 방법은 한정된 일반화 능력을 가지며, 일반적으로 생리학적 신호에 의존하는데, 이는 자원이 제한된 환경에서는 인쇄된 또는 디지털 심전도 이미지만 접근 가능한 경우가 많아 이용하기 어려울 수 있습니다. 최근의 다중 모달 대형 언어 모델(MLLMs)의 발전은 이러한 도전에 대처할 유망한 기회를 제공합니다. 그러나 ECG 이미지 해석에 MLLMs를 적용하는 것은 지침 튜닝 데이터셋과 정량적 평가를 위한 잘 정립된 ECG 이미지 벤치마크의 부족으로 어려움이 있습니다. 이러한 도전에 대처하기 위해, 우리는 다양한 데이터 소스에서 다양한 ECG 관련 작업을 다루는 백만 개 이상의 샘플을 포함하는 포괄적인 ECG 이미지 지침 튜닝 데이터셋인 ECGInstruct를 소개합니다. ECGInstruct를 활용하여 우리는 ECG 이미지 이해를 위해 맞춤화된 MLLM인 PULSE를 개발합니다. 더불어, 아홉 가지 다른 데이터셋을 통해 네 가지 주요 ECG 이미지 해석 작업을 다루는 새로운 평가 벤치마크인 ECGBench를 선별합니다. 우리의 실험 결과, PULSE가 일반 MLLMs를 능가하여 평균 정확도 향상률이 15%에서 30%에 이르는 최신 기술 수준을 보여주었습니다. 이 연구는 PULSE가 임상 실무에서 ECG 해석을 향상시키는 잠재력을 강조합니다.

English

The electrocardiogram (ECG) is an essential non-invasive diagnostic tool for assessing cardiac conditions. Existing automatic interpretation methods suffer from limited generalizability, focusing on a narrow range of cardiac conditions, and typically depend on raw physiological signals, which may not be readily available in resource-limited settings where only printed or digital ECG images are accessible. Recent advancements in multimodal large language models (MLLMs) present promising opportunities for addressing these challenges. However, the application of MLLMs to ECG image interpretation remains challenging due to the lack of instruction tuning datasets and well-established ECG image benchmarks for quantitative evaluation. To address these challenges, we introduce ECGInstruct, a comprehensive ECG image instruction tuning dataset of over one million samples, covering a wide range of ECG-related tasks from diverse data sources. Using ECGInstruct, we develop PULSE, an MLLM tailored for ECG image comprehension. In addition, we curate ECGBench, a new evaluation benchmark covering four key ECG image interpretation tasks across nine different datasets. Our experiments show that PULSE sets a new state-of-the-art, outperforming general MLLMs with an average accuracy improvement of 15% to 30%. This work highlights the potential of PULSE to enhance ECG interpretation in clinical practice.