ORID: Quadro guidato dalle informazioni organo-regionali per la generazione di report di radiologia

ORID: Organ-Regional Information Driven Framework for Radiology Report Generation

November 20, 2024

Autori: Tiancheng Gu, Kaicheng Yang, Xiang An, Ziyong Feng, Dongnan Liu, Weidong Cai

cs.AI

Abstract

L'obiettivo della Generazione di Relazioni Radiologiche (RRG) è generare automaticamente analisi testuali coerenti delle malattie basate su immagini radiologiche, alleviando così il carico di lavoro dei radiologi. Attualmente, i metodi basati sull'IA per la RRG si concentrano principalmente sulle modifiche all'architettura del modello codificatore-decodificatore. Per avanzare in questi approcci, questo articolo introduce un framework guidato dalle Informazioni Organiche-Regionali (ORID) che può integrare efficacemente informazioni multimodali e ridurre l'influenza del rumore da organi non correlati. In particolare, basandoci sul LLaVA-Med, costruiamo innanzitutto un dataset di istruzioni correlato alla RRG per migliorare la capacità di descrizione della diagnosi organo-regionale e ottenere il LLaVA-Med-RRG. Successivamente, proponiamo un modulo di fusione cross-modale basato sugli organi per combinare efficacemente le informazioni dalla descrizione della diagnosi organo-regionale e dall'immagine radiologica. Per ridurre ulteriormente l'influenza del rumore da organi non correlati sulla generazione del rapporto radiologico, introduciamo un modulo di analisi del coefficiente di importanza dell'organo, che sfrutta la Rete Neurale Grafica (GNN) per esaminare le interconnessioni delle informazioni cross-modali di ciascuna regione dell'organo. Estesi esperimenti e confronti con metodi all'avanguardia su vari metriche di valutazione dimostrano le prestazioni superiori del nostro metodo proposto.

English

The objective of Radiology Report Generation (RRG) is to automatically generate coherent textual analyses of diseases based on radiological images, thereby alleviating the workload of radiologists. Current AI-based methods for RRG primarily focus on modifications to the encoder-decoder model architecture. To advance these approaches, this paper introduces an Organ-Regional Information Driven (ORID) framework which can effectively integrate multi-modal information and reduce the influence of noise from unrelated organs. Specifically, based on the LLaVA-Med, we first construct an RRG-related instruction dataset to improve organ-regional diagnosis description ability and get the LLaVA-Med-RRG. After that, we propose an organ-based cross-modal fusion module to effectively combine the information from the organ-regional diagnosis description and radiology image. To further reduce the influence of noise from unrelated organs on the radiology report generation, we introduce an organ importance coefficient analysis module, which leverages Graph Neural Network (GNN) to examine the interconnections of the cross-modal information of each organ region. Extensive experiments an1d comparisons with state-of-the-art methods across various evaluation metrics demonstrate the superior performance of our proposed method.