MRGen: 미분 확산 기반 제어 가능한 데이터 엔진을 향한 MRI 세그멘테이션: 주석이 없는 모달리티를 대상으로

MRGen: Diffusion-based Controllable Data Engine for MRI Segmentation towards Unannotated Modalities

December 4, 2024

저자: Haoning Wu, Ziheng Zhao, Ya Zhang, Weidi Xie, Yanfeng Wang

cs.AI

초록

최근에는 딥 뉴럴 네트워크를 사용한 의료 이미지 세분화가 높은 진전을 보여주었지만, 이질적인 모드 및 마스크 주석의 부족으로 인해 주석이 없는 모드에서 세분화 모델의 개발이 제한되고 있다. 본 논문에서는 의료 응용 프로그램에서 생성 모델을 활용하는 새로운 패러다임을 조사한다. 이는 주석이 없는 모드를 위해 데이터를 조절하여 합성하는 것을 목표로 하며, 등록된 데이터 쌍이 필요하지 않다. 구체적으로 이 논문에서는 다음과 같은 기여를 한다: (i) 우리는 세분화된 의료 이미지 생성 연구를 지원하기 위해 모드 레이블, 속성, 영역 및 장기 정보와 함께 일부 장기 마스크 주석을 포함하는 대규모 방사선 이미지-텍스트 데이터 세트인 MedGen-1M을 수집하고 정리한다; (ii) 우리는 텍스트 프롬프트와 마스크에 의존하는 확산 기반 데이터 엔진인 MRGen을 제안한다. 이는 마스크 주석이 없는 다양한 모드를 위한 MR 이미지를 합성하여 세분화 모델을 훈련시키는 것을 가능하게 한다; (iii) 우리는 다양한 모드에서 광범위한 실험을 수행하여, 우리의 데이터 엔진이 효과적으로 훈련 샘플을 합성하고 MRI 세분화를 주석이 없는 모드로 확장할 수 있음을 보여준다.

English

Medical image segmentation has recently demonstrated impressive progress with deep neural networks, yet the heterogeneous modalities and scarcity of mask annotations limit the development of segmentation models on unannotated modalities. This paper investigates a new paradigm for leveraging generative models in medical applications: controllably synthesizing data for unannotated modalities, without requiring registered data pairs. Specifically, we make the following contributions in this paper: (i) we collect and curate a large-scale radiology image-text dataset, MedGen-1M, comprising modality labels, attributes, region, and organ information, along with a subset of organ mask annotations, to support research in controllable medical image generation; (ii) we propose a diffusion-based data engine, termed MRGen, which enables generation conditioned on text prompts and masks, synthesizing MR images for diverse modalities lacking mask annotations, to train segmentation models on unannotated modalities; (iii) we conduct extensive experiments across various modalities, illustrating that our data engine can effectively synthesize training samples and extend MRI segmentation towards unannotated modalities.