Enseigner aux LLMs Multimodaux à Comprendre les Images Électrocardiographiques

Teach Multimodal LLMs to Comprehend Electrocardiographic Images

October 21, 2024

Auteurs: Ruoqi Liu, Yuelin Bai, Xiang Yue, Ping Zhang

cs.AI

Résumé

L'électrocardiogramme (ECG) est un outil de diagnostic essentiel non invasif pour évaluer les conditions cardiaques. Les méthodes d'interprétation automatique existantes souffrent d'une généralisabilité limitée, se concentrant sur une gamme étroite de conditions cardiaques, et dépendent généralement de signaux physiologiques bruts, qui peuvent ne pas être facilement disponibles dans des environnements à ressources limitées où seules des images ECG imprimées ou numériques sont accessibles. Les récentes avancées dans les grands modèles de langage multimodaux (MLLM) offrent des opportunités prometteuses pour relever ces défis. Cependant, l'application des MLLM à l'interprétation d'images ECG reste difficile en raison du manque de jeux de données d'accord d'instruction et de références d'images ECG bien établies pour l'évaluation quantitative. Pour relever ces défis, nous présentons ECGInstruct, un ensemble de données complet d'accord d'instruction d'images ECG de plus d'un million d'échantillons, couvrant un large éventail de tâches liées à l'ECG à partir de sources de données diverses. En utilisant ECGInstruct, nous développons PULSE, un MLLM adapté à la compréhension des images ECG. De plus, nous constituons ECGBench, un nouveau banc d'essai couvrant quatre tâches clés d'interprétation d'images ECG à travers neuf ensembles de données différents. Nos expériences montrent que PULSE établit un nouvel état de l'art, surpassant les MLLM généraux avec une amélioration moyenne de la précision de 15 % à 30 %. Ce travail met en lumière le potentiel de PULSE pour améliorer l'interprétation des ECG en pratique clinique.

English

The electrocardiogram (ECG) is an essential non-invasive diagnostic tool for assessing cardiac conditions. Existing automatic interpretation methods suffer from limited generalizability, focusing on a narrow range of cardiac conditions, and typically depend on raw physiological signals, which may not be readily available in resource-limited settings where only printed or digital ECG images are accessible. Recent advancements in multimodal large language models (MLLMs) present promising opportunities for addressing these challenges. However, the application of MLLMs to ECG image interpretation remains challenging due to the lack of instruction tuning datasets and well-established ECG image benchmarks for quantitative evaluation. To address these challenges, we introduce ECGInstruct, a comprehensive ECG image instruction tuning dataset of over one million samples, covering a wide range of ECG-related tasks from diverse data sources. Using ECGInstruct, we develop PULSE, an MLLM tailored for ECG image comprehension. In addition, we curate ECGBench, a new evaluation benchmark covering four key ECG image interpretation tasks across nine different datasets. Our experiments show that PULSE sets a new state-of-the-art, outperforming general MLLMs with an average accuracy improvement of 15% to 30%. This work highlights the potential of PULSE to enhance ECG interpretation in clinical practice.