SegBook: 부피 기반 의료 이미지 분할을 위한 간단한 기준선 및 레시피

SegBook: A Simple Baseline and Cookbook for Volumetric Medical Image Segmentation

November 21, 2024

저자: Jin Ye, Ying Chen, Yanjun Li, Haoyu Wang, Zhongying Deng, Ziyan Huang, Yanzhou Su, Chenglong Ma, Yuanfeng Ji, Junjun He

cs.AI

초록

전산 단층 촬영(CT)은 의료 영상 분야에서 가장 인기 있는 모달리티 중 하나입니다. 현재까지 CT 영상은 체적 의료 분할 작업을 위한 가장 큰 공개 데이터셋에 기여하며, 전신 해부 구조를 다룹니다. 대량의 전신 CT 영상은 강력한 모델, 예를 들어 감독 학습으로 사전 훈련된 STU-Net과 같은 모델을 사전 훈련하는 기회를 제공합니다. 그러나 이러한 사전 훈련된 모델이 다양한 하류 의료 분할 작업, 특히 다른 모달리티 및 다양한 대상을 분할하는 데 어떤 조건에서 전이될 수 있는지는 여전히 명확하지 않습니다. 이 문제를 해결하기 위해 포괄적인 평가를 위한 대규모 벤치마크가 중요합니다. 따라서 우리는 다양한 모달리티, 대상 및 샘플 크기에 변화하는 87개의 공개 데이터셋을 수집하여 전신 CT 사전 훈련 모델의 전이 능력을 평가했습니다. 그런 다음 대표적인 모델인 STU-Net과 여러 모델 스케일을 사용하여 모달리티 및 대상 간 전이 학습을 수행했습니다. 실험 결과는 다음과 같습니다. (1) 미세 조정에서 데이터셋 크기에 따른 병목 효과가 있을 수 있으며, 중간 규모의 데이터셋보다 소규모 및 대규모 데이터셋에서 더 많은 개선이 있습니다. (2) 전신 CT에서 사전 훈련된 모델은 MRI와 같은 다른 모달리티에 효과적으로 전이되며, (3) 전신 CT에서 사전 훈련을 받는 것은 구조 감지에서 강력한 성능을 지원할 뿐만 아니라 병변 감지에서도 효과를 보여주며, 대상 작업 간의 적응성을 보여줍니다. 우리는 이러한 체적 의료 영상 분할에 대한 미래 연구를 이끌 수 있는 대규모 개방 평가를 통해 전이 학습에 대한 방향을 제시할 수 있기를 희망합니다.

English

Computed Tomography (CT) is one of the most popular modalities for medical imaging. By far, CT images have contributed to the largest publicly available datasets for volumetric medical segmentation tasks, covering full-body anatomical structures. Large amounts of full-body CT images provide the opportunity to pre-train powerful models, e.g., STU-Net pre-trained in a supervised fashion, to segment numerous anatomical structures. However, it remains unclear in which conditions these pre-trained models can be transferred to various downstream medical segmentation tasks, particularly segmenting the other modalities and diverse targets. To address this problem, a large-scale benchmark for comprehensive evaluation is crucial for finding these conditions. Thus, we collected 87 public datasets varying in modality, target, and sample size to evaluate the transfer ability of full-body CT pre-trained models. We then employed a representative model, STU-Net with multiple model scales, to conduct transfer learning across modalities and targets. Our experimental results show that (1) there may be a bottleneck effect concerning the dataset size in fine-tuning, with more improvement on both small- and large-scale datasets than medium-size ones. (2) Models pre-trained on full-body CT demonstrate effective modality transfer, adapting well to other modalities such as MRI. (3) Pre-training on the full-body CT not only supports strong performance in structure detection but also shows efficacy in lesion detection, showcasing adaptability across target tasks. We hope that this large-scale open evaluation of transfer learning can direct future research in volumetric medical image segmentation.