EchoPrime: Een Vision-Language-model geïnformeerd door meerdere video-weergaven voor een uitgebreide interpretatie van echocardiografie.

EchoPrime: A Multi-Video View-Informed Vision-Language Model for Comprehensive Echocardiography Interpretation

October 13, 2024

Auteurs: Milos Vukadinovic, Xiu Tang, Neal Yuan, Paul Cheng, Debiao Li, Susan Cheng, Bryan He, David Ouyang

cs.AI

Samenvatting

Echocardiografie is de meest gebruikte cardiale beeldvormingsmodaliteit, waarbij ultrasone videogegevens worden vastgelegd om de structuur en functie van het hart te beoordelen. Kunstmatige intelligentie (AI) in echocardiografie heeft het potentieel om handmatige taken te stroomlijnen en de reproduceerbaarheid en precisie te verbeteren. De meeste AI-modellen voor echocardiografie zijn echter enkelvoudige weergave, enkelvoudige taaksystemen die geen aanvullende informatie synthetiseren uit meerdere weergaven die tijdens een volledig onderzoek zijn vastgelegd, en daardoor leiden tot beperkte prestaties en toepassingsmogelijkheden. Om dit probleem aan te pakken, introduceren we EchoPrime, een multi-weergave, weergave-geïnformeerd, op video gebaseerd visie-taal foundation model dat is getraind op meer dan 12 miljoen video-rapportparen. EchoPrime maakt gebruik van contrastief leren om een verenigd insluitingsmodel te trainen voor alle standaard weergaven in een uitgebreide echocardiogramstudie met de representatie van zowel zeldzame als veelvoorkomende ziekten en diagnoses. Vervolgens maakt EchoPrime gebruik van weergave-classificatie en een weergave-geïnformeerd anatomisch aandachtsmodel om videospecifieke interpretaties te wegen die nauwkeurig de relatie tussen echocardiografische weergaven en anatomische structuren in kaart brengen. Met opvragingsversterkte interpretatie integreert EchoPrime informatie uit alle echocardiografievideo's in een uitgebreide studie en voert het een holistische, uitgebreide klinische echocardiografische interpretatie uit. In datasets van twee onafhankelijke gezondheidssystemen behaalt EchoPrime state-of-the-art prestaties op 23 diverse benchmarks van cardiale vorm en functie, waarbij het de prestaties van zowel taakspecifieke benaderingen als eerdere foundation-modellen overtreft. Na een grondige klinische evaluatie kan EchoPrime artsen helpen bij de geautomatiseerde voorlopige beoordeling van uitgebreide echocardiografie.

English

Echocardiography is the most widely used cardiac imaging modality, capturing ultrasound video data to assess cardiac structure and function. Artificial intelligence (AI) in echocardiography has the potential to streamline manual tasks and improve reproducibility and precision. However, most echocardiography AI models are single-view, single-task systems that do not synthesize complementary information from multiple views captured during a full exam, and thus lead to limited performance and scope of applications. To address this problem, we introduce EchoPrime, a multi-view, view-informed, video-based vision-language foundation model trained on over 12 million video-report pairs. EchoPrime uses contrastive learning to train a unified embedding model for all standard views in a comprehensive echocardiogram study with representation of both rare and common diseases and diagnoses. EchoPrime then utilizes view-classification and a view-informed anatomic attention model to weight video-specific interpretations that accurately maps the relationship between echocardiographic views and anatomical structures. With retrieval-augmented interpretation, EchoPrime integrates information from all echocardiogram videos in a comprehensive study and performs holistic comprehensive clinical echocardiography interpretation. In datasets from two independent healthcare systems, EchoPrime achieves state-of-the art performance on 23 diverse benchmarks of cardiac form and function, surpassing the performance of both task-specific approaches and prior foundation models. Following rigorous clinical evaluation, EchoPrime can assist physicians in the automated preliminary assessment of comprehensive echocardiography.