대화식 의료 이미지 세분화: 벤치마크 데이터셋과 기준선

Interactive Medical Image Segmentation: A Benchmark Dataset and Baseline

November 19, 2024

저자: Junlong Cheng, Bin Fu, Jin Ye, Guoan Wang, Tianbin Li, Haoyu Wang, Ruoyu Li, He Yao, Junren Chen, JingWen Li, Yanzhou Su, Min Zhu, Junjun He

cs.AI

초록

대화식 의료 이미지 분할(IMIS)은 오랫동안 대규모, 다양하며 밀도 높은 주석 데이터셋의 제한된 가용성으로 모델의 일반화와 다양한 모델 간 일관된 평가가 어려웠습니다. 본 논문에서는 일반적인 IMIS 연구의 중요한 발전으로 IMed-361M 벤치마크 데이터셋을 소개합니다. 먼저, 다양한 데이터 소스에서 640만 개 이상의 의료 이미지와 그에 상응하는 정답 마스크를 수집하고 표준화했습니다. 그런 다음, 시각 기반 모델의 강력한 객체 인식 능력을 활용하여 각 이미지에 대해 밀도 높은 대화식 마스크를 자동으로 생성하고 엄격한 품질 관리와 세분화 관리를 통해 품질을 보장했습니다. 이전 데이터셋과 달리, IMed-361M은 특정 모달리티나 희소한 주석으로 제한되지 않으며, 14가지 모달리티와 204개의 분할 대상을 포함하여 총 3억 6100만 개의 마스크로 이루어져 있습니다. 마지막으로, 이 데이터셋에서 IMIS 기준 신경망을 개발했는데, 이는 클릭, 바운딩 박스, 텍스트 프롬프트 및 그들의 조합을 포함한 대화식 입력을 통해 고품질 마스크 생성을 지원합니다. 본 연구는 다양한 관점에서 의료 이미지 분할 작업에 대한 성능을 평가하여, 기존의 대화식 분할 모델보다 우수한 정확성과 확장성을 보여줍니다. 의료 컴퓨터 비전의 기초 모델 연구를 촉진하기 위해, IMed-361M과 모델을 https://github.com/uni-medical/IMIS-Bench 에 공개합니다.

English

Interactive Medical Image Segmentation (IMIS) has long been constrained by the limited availability of large-scale, diverse, and densely annotated datasets, which hinders model generalization and consistent evaluation across different models. In this paper, we introduce the IMed-361M benchmark dataset, a significant advancement in general IMIS research. First, we collect and standardize over 6.4 million medical images and their corresponding ground truth masks from multiple data sources. Then, leveraging the strong object recognition capabilities of a vision foundational model, we automatically generated dense interactive masks for each image and ensured their quality through rigorous quality control and granularity management. Unlike previous datasets, which are limited by specific modalities or sparse annotations, IMed-361M spans 14 modalities and 204 segmentation targets, totaling 361 million masks-an average of 56 masks per image. Finally, we developed an IMIS baseline network on this dataset that supports high-quality mask generation through interactive inputs, including clicks, bounding boxes, text prompts, and their combinations. We evaluate its performance on medical image segmentation tasks from multiple perspectives, demonstrating superior accuracy and scalability compared to existing interactive segmentation models. To facilitate research on foundational models in medical computer vision, we release the IMed-361M and model at https://github.com/uni-medical/IMIS-Bench.