ORID: Organ-Regionales informationsgesteuertes Rahmenwerk für die Generierung von Radiologieberichten

ORID: Organ-Regional Information Driven Framework for Radiology Report Generation

November 20, 2024

Autoren: Tiancheng Gu, Kaicheng Yang, Xiang An, Ziyong Feng, Dongnan Liu, Weidong Cai

cs.AI

Zusammenfassung

Das Ziel der Radiologie-Berichterstellung (RRG) besteht darin, automatisch kohärente textuelle Analysen von Krankheiten auf der Grundlage radiologischer Bilder zu erstellen, um so die Arbeitsbelastung der Radiologen zu verringern. Aktuelle KI-basierte Methoden für RRG konzentrieren sich hauptsächlich auf Modifikationen der Architektur des Encoder-Decoder-Modells. Um diese Ansätze voranzutreiben, stellt dieses Papier ein Organ-Regional-Information-Driven (ORID) Framework vor, das multi-modale Informationen effektiv integrieren und den Einfluss von Störungen durch nicht zusammenhängende Organe reduzieren kann. Basierend auf dem LLaVA-Med erstellen wir zunächst einen RRG-bezogenen Anweisungsdatensatz, um die Fähigkeit zur Beschreibung der organregionalen Diagnose zu verbessern und den LLaVA-Med-RRG zu erhalten. Anschließend schlagen wir ein organbasiertes Cross-Modal-Fusionsmodul vor, um die Informationen aus der organregionalen Diagnosebeschreibung und dem radiologischen Bild effektiv zu kombinieren. Um den Einfluss von Störungen durch nicht zusammenhängende Organe auf die Erstellung des Radiologieberichts weiter zu reduzieren, führen wir ein Modul zur Analyse des Organ-Importanzkoeffizienten ein, das auf einem Graph-Neuralen-Netzwerk (GNN) basiert, um die Wechselwirkungen der Cross-Modal-Informationen jeder Organregion zu untersuchen. Umfangreiche Experimente und Vergleiche mit State-of-the-Art-Methoden anhand verschiedener Bewertungskriterien zeigen die überragende Leistung unseres vorgeschlagenen Verfahrens.

English

The objective of Radiology Report Generation (RRG) is to automatically generate coherent textual analyses of diseases based on radiological images, thereby alleviating the workload of radiologists. Current AI-based methods for RRG primarily focus on modifications to the encoder-decoder model architecture. To advance these approaches, this paper introduces an Organ-Regional Information Driven (ORID) framework which can effectively integrate multi-modal information and reduce the influence of noise from unrelated organs. Specifically, based on the LLaVA-Med, we first construct an RRG-related instruction dataset to improve organ-regional diagnosis description ability and get the LLaVA-Med-RRG. After that, we propose an organ-based cross-modal fusion module to effectively combine the information from the organ-regional diagnosis description and radiology image. To further reduce the influence of noise from unrelated organs on the radiology report generation, we introduce an organ importance coefficient analysis module, which leverages Graph Neural Network (GNN) to examine the interconnections of the cross-modal information of each organ region. Extensive experiments an1d comparisons with state-of-the-art methods across various evaluation metrics demonstrate the superior performance of our proposed method.