ORID: Organ-Regionaal Informatiegestuurd Kader voor Radiologieverslag Generatie

ORID: Organ-Regional Information Driven Framework for Radiology Report Generation

November 20, 2024

Auteurs: Tiancheng Gu, Kaicheng Yang, Xiang An, Ziyong Feng, Dongnan Liu, Weidong Cai

cs.AI

Samenvatting

Het doel van Radiologieverslaggeneratie (RRG) is om automatisch coherente tekstuele analyses van ziekten te genereren op basis van radiologische beelden, waardoor de werklast van radiologen wordt verlicht. Huidige op AI gebaseerde methoden voor RRG richten zich voornamelijk op aanpassingen aan de architectuur van het encoder-decoder model. Om deze benaderingen verder te ontwikkelen, introduceert dit artikel een Organ-Regionaal Informatiegestuurd (ORID) kader dat effectief multi-modale informatie kan integreren en de invloed van ruis van niet-gerelateerde organen kan verminderen. Specifiek, gebaseerd op de LLaVA-Med, construeren we eerst een RRG-gerelateerde instructiedataset om de vermogen van orgaan-regionale diagnosebeschrijving te verbeteren en krijgen we de LLaVA-Med-RRG. Daarna stellen we een op organen gebaseerde cross-modale fusiemodule voor om effectief de informatie van de orgaan-regionale diagnosebeschrijving en radiologiebeeld te combineren. Om de invloed van ruis van niet-gerelateerde organen op de generatie van radiologieverslagen verder te verminderen, introduceren we een module voor analyse van orgaanbelangrijke coëfficiënten, die gebruikmaakt van Graph Neural Network (GNN) om de onderlinge verbindingen van de cross-modale informatie van elk orgaanregio te onderzoeken. Uitgebreide experimenten en vergelijkingen met state-of-the-art methoden over verschillende evaluatiemetrics tonen de superieure prestaties van onze voorgestelde methode aan.

English

The objective of Radiology Report Generation (RRG) is to automatically generate coherent textual analyses of diseases based on radiological images, thereby alleviating the workload of radiologists. Current AI-based methods for RRG primarily focus on modifications to the encoder-decoder model architecture. To advance these approaches, this paper introduces an Organ-Regional Information Driven (ORID) framework which can effectively integrate multi-modal information and reduce the influence of noise from unrelated organs. Specifically, based on the LLaVA-Med, we first construct an RRG-related instruction dataset to improve organ-regional diagnosis description ability and get the LLaVA-Med-RRG. After that, we propose an organ-based cross-modal fusion module to effectively combine the information from the organ-regional diagnosis description and radiology image. To further reduce the influence of noise from unrelated organs on the radiology report generation, we introduce an organ importance coefficient analysis module, which leverages Graph Neural Network (GNN) to examine the interconnections of the cross-modal information of each organ region. Extensive experiments an1d comparisons with state-of-the-art methods across various evaluation metrics demonstrate the superior performance of our proposed method.