SegBook: Una linea guida semplice e un manuale per la segmentazione di immagini mediche volumetriche

SegBook: A Simple Baseline and Cookbook for Volumetric Medical Image Segmentation

November 21, 2024

Autori: Jin Ye, Ying Chen, Yanjun Li, Haoyu Wang, Zhongying Deng, Ziyan Huang, Yanzhou Su, Chenglong Ma, Yuanfeng Ji, Junjun He

cs.AI

Abstract

La Tomografia Computerizzata (TC) è una delle modalità più popolari per l'imaging medico. Le immagini TC hanno contribuito in modo significativo ai più grandi set di dati disponibili pubblicamente per compiti di segmentazione medica volumetrica, coprendo le strutture anatomiche dell'intero corpo. Grandi quantità di immagini TC a tutto corpo offrono l'opportunità di pre-addestrare modelli potenti, ad esempio STU-Net pre-addestrato in modo supervisionato, per segmentare numerose strutture anatomiche. Tuttavia, rimane poco chiaro in quali condizioni questi modelli pre-addestrati possano essere trasferiti a vari compiti di segmentazione medica successivi, in particolare per la segmentazione di altre modalità e obiettivi diversi. Per affrontare questo problema, è cruciale avere un benchmark su larga scala per una valutazione completa al fine di individuare queste condizioni. Pertanto, abbiamo raccolto 87 set di dati pubblici variabili in termini di modalità, obiettivo e dimensioni campione per valutare la capacità di trasferimento dei modelli pre-addestrati su TC a tutto corpo. Abbiamo quindi impiegato un modello rappresentativo, STU-Net con molteplici scale di modello, per condurre l'apprendimento di trasferimento tra diverse modalità e obiettivi. I nostri risultati sperimentali mostrano che (1) potrebbe esserci un effetto di bottleneck riguardante le dimensioni del set di dati nel fine-tuning, con un miglioramento maggiore sia su set di dati di piccole che di grandi dimensioni rispetto a quelli di dimensioni medie. (2) I modelli pre-addestrati su TC a tutto corpo dimostrano un efficace trasferimento di modalità, adattandosi bene ad altre modalità come la risonanza magnetica (MRI). (3) Il pre-addestramento su TC a tutto corpo non solo supporta una forte performance nella rilevazione delle strutture, ma mostra anche efficacia nella rilevazione delle lesioni, dimostrando adattabilità tra compiti obiettivo. Speriamo che questa valutazione aperta su larga scala dell'apprendimento di trasferimento possa indirizzare la ricerca futura nella segmentazione di immagini mediche volumetriche.

English

Computed Tomography (CT) is one of the most popular modalities for medical imaging. By far, CT images have contributed to the largest publicly available datasets for volumetric medical segmentation tasks, covering full-body anatomical structures. Large amounts of full-body CT images provide the opportunity to pre-train powerful models, e.g., STU-Net pre-trained in a supervised fashion, to segment numerous anatomical structures. However, it remains unclear in which conditions these pre-trained models can be transferred to various downstream medical segmentation tasks, particularly segmenting the other modalities and diverse targets. To address this problem, a large-scale benchmark for comprehensive evaluation is crucial for finding these conditions. Thus, we collected 87 public datasets varying in modality, target, and sample size to evaluate the transfer ability of full-body CT pre-trained models. We then employed a representative model, STU-Net with multiple model scales, to conduct transfer learning across modalities and targets. Our experimental results show that (1) there may be a bottleneck effect concerning the dataset size in fine-tuning, with more improvement on both small- and large-scale datasets than medium-size ones. (2) Models pre-trained on full-body CT demonstrate effective modality transfer, adapting well to other modalities such as MRI. (3) Pre-training on the full-body CT not only supports strong performance in structure detection but also shows efficacy in lesion detection, showcasing adaptability across target tasks. We hope that this large-scale open evaluation of transfer learning can direct future research in volumetric medical image segmentation.