ORID : Cadre d'informations organo-régionales pour la génération de rapports de radiologie

ORID: Organ-Regional Information Driven Framework for Radiology Report Generation

November 20, 2024

Auteurs: Tiancheng Gu, Kaicheng Yang, Xiang An, Ziyong Feng, Dongnan Liu, Weidong Cai

cs.AI

Résumé

L'objectif de la Génération de Rapports de Radiologie (GRR) est de générer automatiquement des analyses textuelles cohérentes des maladies basées sur des images radiologiques, soulageant ainsi la charge de travail des radiologues. Les méthodes actuelles basées sur l'IA pour la GRR se concentrent principalement sur des modifications de l'architecture du modèle encodeur-décodeur. Pour faire progresser ces approches, cet article présente un cadre d'Information Organique-Régionale Pilotée (ORID) qui peut intégrer efficacement des informations multimodales et réduire l'influence du bruit provenant d'organes non liés. Plus précisément, en nous basant sur le LLaVA-Med, nous construisons d'abord un ensemble de données d'instructions liées à la GRR pour améliorer la capacité de description du diagnostic organo-régional et obtenir le LLaVA-Med-RRG. Ensuite, nous proposons un module de fusion croisée basé sur les organes pour combiner efficacement les informations de la description du diagnostic organo-régional et de l'image radiologique. Pour réduire davantage l'influence du bruit provenant d'organes non liés sur la génération de rapports de radiologie, nous introduisons un module d'analyse des coefficients d'importance des organes, qui exploite le Réseau Neuronal Graphique (GNN) pour examiner les interconnexions des informations croisées de chaque région organique. Des expériences approfondies et des comparaisons avec des méthodes de pointe sur diverses mesures d'évaluation démontrent les performances supérieures de notre méthode proposée.

English

The objective of Radiology Report Generation (RRG) is to automatically generate coherent textual analyses of diseases based on radiological images, thereby alleviating the workload of radiologists. Current AI-based methods for RRG primarily focus on modifications to the encoder-decoder model architecture. To advance these approaches, this paper introduces an Organ-Regional Information Driven (ORID) framework which can effectively integrate multi-modal information and reduce the influence of noise from unrelated organs. Specifically, based on the LLaVA-Med, we first construct an RRG-related instruction dataset to improve organ-regional diagnosis description ability and get the LLaVA-Med-RRG. After that, we propose an organ-based cross-modal fusion module to effectively combine the information from the organ-regional diagnosis description and radiology image. To further reduce the influence of noise from unrelated organs on the radiology report generation, we introduce an organ importance coefficient analysis module, which leverages Graph Neural Network (GNN) to examine the interconnections of the cross-modal information of each organ region. Extensive experiments an1d comparisons with state-of-the-art methods across various evaluation metrics demonstrate the superior performance of our proposed method.