의료 이미지 분석을 위한 맘바 아키텍처에 대한 포괄적 조사: 분류, 분할, 복원 및 그 이상

A Comprehensive Survey of Mamba Architectures for Medical Image Analysis: Classification, Segmentation, Restoration and Beyond

October 3, 2024

저자: Shubhi Bansal, Sreeharish A, Madhava Prasath J, Manikandan S, Sreekanth Madisetty, Mohammad Zia Ur Rehman, Chandravardhan Singh Raghaw, Gaurav Duggal, Nagendra Kumar

cs.AI

초록

Mamba는 상태 공간 모델의 특수한 경우로, 의료 이미지 분석에서 템플릿 기반 딥 러닝 접근법의 대안으로 인기를 얻고 있습니다. 트랜스포머는 강력한 아키텍처이지만, 이차 계산 복잡성과 장거리 종속성을 효율적으로 처리할 수 없는 단점이 있습니다. 이 제한은 의료 이미징의 대규모 및 복잡한 데이터셋 분석에 영향을 미치며, 많은 공간 및 시간적 관계가 존재합니다. 반면, Mamba는 의료 이미지 분석에 적합하게 만드는 혜택을 제공합니다. Mamba는 트랜스포머보다 상당한 개선을 이룬 선형 시간 복잡성을 갖고 있습니다. Mamba는 주의 메커니즘 없이 더 긴 시퀀스를 처리하여 빠른 추론을 가능하게 하며 더 적은 메모리를 필요로 합니다. Mamba는 또한 다중 모달 데이터를 병합하고 진단 정확도와 환자 결과를 향상시키는 강력한 성능을 보여줍니다. 본 논문의 구성은 독자들이 의료 이미징에서 Mamba의 능력을 단계별로 이해할 수 있도록 합니다. 우리는 SSMs 및 모델의 핵심 개념을 정의하고, 순차적으로 S4, S5, S6을 탐구한 후, 순수 Mamba, U-Net 변형 및 합성 모델과 같은 Mamba 아키텍처, 컨볼루션 신경망, 트랜스포머 및 그래프 신경망과의 하이브리드 모델을 살펴봅니다. 또한 Mamba 최적화, 기술 및 적응, 스캐닝, 데이터셋, 응용 프로그램, 실험 결과를 다루고 의료 이미징에서 Mamba의 도전과 미래 방향을 결론 지어 의료 이미징 분야에서 기존 장벽을 극복하고 혁신적인 발전을 이끌어내는 Mamba의 변혁적 잠재력을 입증하는 것을 목표로 합니다. 본 리뷰에서 검토된 의료 분야에 적용된 Mamba 아키텍처의 포괄적인 목록은 Github에서 확인할 수 있습니다.

English

Mamba, a special case of the State Space Model, is gaining popularity as an alternative to template-based deep learning approaches in medical image analysis. While transformers are powerful architectures, they have drawbacks, including quadratic computational complexity and an inability to address long-range dependencies efficiently. This limitation affects the analysis of large and complex datasets in medical imaging, where there are many spatial and temporal relationships. In contrast, Mamba offers benefits that make it well-suited for medical image analysis. It has linear time complexity, which is a significant improvement over transformers. Mamba processes longer sequences without attention mechanisms, enabling faster inference and requiring less memory. Mamba also demonstrates strong performance in merging multimodal data, improving diagnosis accuracy and patient outcomes. The organization of this paper allows readers to appreciate the capabilities of Mamba in medical imaging step by step. We begin by defining core concepts of SSMs and models, including S4, S5, and S6, followed by an exploration of Mamba architectures such as pure Mamba, U-Net variants, and hybrid models with convolutional neural networks, transformers, and Graph Neural Networks. We also cover Mamba optimizations, techniques and adaptations, scanning, datasets, applications, experimental results, and conclude with its challenges and future directions in medical imaging. This review aims to demonstrate the transformative potential of Mamba in overcoming existing barriers within medical imaging while paving the way for innovative advancements in the field. A comprehensive list of Mamba architectures applied in the medical field, reviewed in this work, is available at Github.