MMed-RAG: Veelzijdig Multimodaal RAG-systeem voor Medische Visie Taalmodellen

MMed-RAG: Versatile Multimodal RAG System for Medical Vision Language Models

October 16, 2024

Auteurs: Peng Xia, Kangyu Zhu, Haoran Li, Tianze Wang, Weijia Shi, Sheng Wang, Linjun Zhang, James Zou, Huaxiu Yao

cs.AI

Samenvatting

Kunstmatige Intelligentie (AI) heeft aanzienlijk potentieel aangetoond in de gezondheidszorg, met name op het gebied van ziekte diagnose en behandelplanning. Recente vooruitgang in Medische Grote Visie-Taal Modellen (Med-LVLMs) heeft nieuwe mogelijkheden geopend voor interactieve diagnostische tools. Echter, deze modellen lijden vaak aan feitelijke hallucinatie, wat kan leiden tot onjuiste diagnoses. Fijnafstemming en opvraag-versterkte generatie (RAG) zijn naar voren gekomen als methoden om deze problemen aan te pakken. Echter, de hoeveelheid hoogwaardige data en distributieverschuivingen tussen trainingsdata en implementatiedata beperken de toepassing van fijnafstemmingsmethoden. Hoewel RAG lichtgewicht en effectief is, zijn bestaande op RAG gebaseerde benaderingen niet voldoende algemeen voor verschillende medische domeinen en kunnen potentieel uitlijningsproblemen veroorzaken, zowel tussen modaliteiten als tussen het model en de grondwaarheid. In dit artikel stellen we een veelzijdig multimodaal RAG-systeem voor, MMed-RAG genaamd, ontworpen om de feitelijkheid van Med-LVLMs te verbeteren. Onze aanpak introduceert een domeinbewust opvraagmechanisme, een adaptieve methode voor het selecteren van opgehaalde contexten, en een aantoonbare op RAG gebaseerde voorkeursfijnafstemmingsstrategie. Deze innovaties maken het RAG-proces voldoende algemeen en betrouwbaar, waarbij de uitlijning aanzienlijk verbetert bij het introduceren van opgehaalde contexten. Experimentele resultaten over vijf medische datasets (met radiologie, oogheelkunde, pathologie) over medische Vraag en Antwoord en rapportgeneratie tonen aan dat MMed-RAG een gemiddelde verbetering van 43.8% in de feitelijke nauwkeurigheid van Med-LVLMs kan bereiken. Onze data en code zijn beschikbaar op https://github.com/richard-peng-xia/MMed-RAG.

English

Artificial Intelligence (AI) has demonstrated significant potential in healthcare, particularly in disease diagnosis and treatment planning. Recent progress in Medical Large Vision-Language Models (Med-LVLMs) has opened up new possibilities for interactive diagnostic tools. However, these models often suffer from factual hallucination, which can lead to incorrect diagnoses. Fine-tuning and retrieval-augmented generation (RAG) have emerged as methods to address these issues. However, the amount of high-quality data and distribution shifts between training data and deployment data limit the application of fine-tuning methods. Although RAG is lightweight and effective, existing RAG-based approaches are not sufficiently general to different medical domains and can potentially cause misalignment issues, both between modalities and between the model and the ground truth. In this paper, we propose a versatile multimodal RAG system, MMed-RAG, designed to enhance the factuality of Med-LVLMs. Our approach introduces a domain-aware retrieval mechanism, an adaptive retrieved contexts selection method, and a provable RAG-based preference fine-tuning strategy. These innovations make the RAG process sufficiently general and reliable, significantly improving alignment when introducing retrieved contexts. Experimental results across five medical datasets (involving radiology, ophthalmology, pathology) on medical VQA and report generation demonstrate that MMed-RAG can achieve an average improvement of 43.8% in the factual accuracy of Med-LVLMs. Our data and code are available in https://github.com/richard-peng-xia/MMed-RAG.