ORID: 방사선학 보고서 생성을 위한 장기-지역 정보 주도 프레임워크

ORID: Organ-Regional Information Driven Framework for Radiology Report Generation

November 20, 2024

저자: Tiancheng Gu, Kaicheng Yang, Xiang An, Ziyong Feng, Dongnan Liu, Weidong Cai

cs.AI

초록

방사선학 보고서 생성(Radiology Report Generation, RRG)의 목표는 방사선 이미지를 기반으로 질병에 대한 일관된 텍스트 분석을 자동으로 생성하여 방사선과 전문의들의 업무 부담을 줄이는 것입니다. RRG에 대한 현재의 AI 기반 방법은 주로 인코더-디코더 모델 아키텍처의 수정에 초점을 맞추고 있습니다. 이 논문은 이러한 접근 방식을 발전시키기 위해 다중 모달 정보를 효과적으로 통합하고 관련 없는 기관으로부터의 잡음의 영향을 줄일 수 있는 Organ-Regional Information Driven (ORID) 프레임워크를 소개합니다. 구체적으로, LLaVA-Med를 기반으로 우리는 먼저 RRG 관련 지침 데이터셋을 구축하여 기관-지역 진단 설명 능력을 향상시키고 LLaVA-Med-RRG를 얻습니다. 그 후, 우리는 기관 기반의 교차 모달 융합 모듈을 제안하여 기관-지역 진단 설명과 방사선 이미지로부터의 정보를 효과적으로 결합합니다. 관련 없는 기관으로부터의 잡음이 방사선 보고서 생성에 미치는 영향을 더 줄이기 위해, 우리는 각 기관 영역의 교차 모달 정보의 상호 연결을 검토하기 위해 그래프 신경망(GNN)을 활용하는 기관 중요도 계수 분석 모듈을 소개합니다. 다양한 평가 지표를 통한 방대한 실험 및 최신 기법과의 비교는 우리의 제안 방법의 우수한 성능을 입증합니다.

English

The objective of Radiology Report Generation (RRG) is to automatically generate coherent textual analyses of diseases based on radiological images, thereby alleviating the workload of radiologists. Current AI-based methods for RRG primarily focus on modifications to the encoder-decoder model architecture. To advance these approaches, this paper introduces an Organ-Regional Information Driven (ORID) framework which can effectively integrate multi-modal information and reduce the influence of noise from unrelated organs. Specifically, based on the LLaVA-Med, we first construct an RRG-related instruction dataset to improve organ-regional diagnosis description ability and get the LLaVA-Med-RRG. After that, we propose an organ-based cross-modal fusion module to effectively combine the information from the organ-regional diagnosis description and radiology image. To further reduce the influence of noise from unrelated organs on the radiology report generation, we introduce an organ importance coefficient analysis module, which leverages Graph Neural Network (GNN) to examine the interconnections of the cross-modal information of each organ region. Extensive experiments an1d comparisons with state-of-the-art methods across various evaluation metrics demonstrate the superior performance of our proposed method.