MRGen: Motore di Dati Controllabile basato sulla Diffusione per la Segmentazione mediante Modalità non Annotate

MRGen: Diffusion-based Controllable Data Engine for MRI Segmentation towards Unannotated Modalities

December 4, 2024

Autori: Haoning Wu, Ziheng Zhao, Ya Zhang, Weidi Xie, Yanfeng Wang

cs.AI

Abstract

La segmentazione delle immagini mediche ha recentemente dimostrato un notevole progresso con le reti neurali profonde, tuttavia le modalità eterogenee e la scarsità di annotazioni delle maschere limitano lo sviluppo dei modelli di segmentazione su modalità non annotate. Questo articolo investiga un nuovo paradigma per sfruttare i modelli generativi nelle applicazioni mediche: sintetizzare in modo controllabile dati per modalità non annotate, senza richiedere coppie di dati registrati. In particolare, apportiamo i seguenti contributi in questo articolo: (i) raccogliamo e curiamo un dataset di immagini-testo radiologiche su larga scala, MedGen-1M, che comprende etichette di modalità, attributi, informazioni sulla regione e sull'organo, insieme a un sottoinsieme di annotazioni delle maschere degli organi, per supportare la ricerca nella generazione controllabile di immagini mediche; (ii) proponiamo un motore di dati basato sulla diffusione, denominato MRGen, che consente la generazione condizionata da prompt di testo e maschere, sintetizzando immagini RM per diverse modalità prive di annotazioni delle maschere, per addestrare modelli di segmentazione su modalità non annotate; (iii) conduciamo ampi esperimenti su varie modalità, illustrando che il nostro motore di dati può sintetizzare efficacemente campioni di addestramento ed estendere la segmentazione RM verso modalità non annotate.

English

Medical image segmentation has recently demonstrated impressive progress with deep neural networks, yet the heterogeneous modalities and scarcity of mask annotations limit the development of segmentation models on unannotated modalities. This paper investigates a new paradigm for leveraging generative models in medical applications: controllably synthesizing data for unannotated modalities, without requiring registered data pairs. Specifically, we make the following contributions in this paper: (i) we collect and curate a large-scale radiology image-text dataset, MedGen-1M, comprising modality labels, attributes, region, and organ information, along with a subset of organ mask annotations, to support research in controllable medical image generation; (ii) we propose a diffusion-based data engine, termed MRGen, which enables generation conditioned on text prompts and masks, synthesizing MR images for diverse modalities lacking mask annotations, to train segmentation models on unannotated modalities; (iii) we conduct extensive experiments across various modalities, illustrating that our data engine can effectively synthesize training samples and extend MRI segmentation towards unannotated modalities.