MedVisionLlama: 사전 훈련된 대형 언어 모델 레이어를 활용하여 의료 이미지 분할 향상

초록

대규모 언어 모델(LLMs)은 텍스트 데이터에서의 다재다능성으로 알려져 있으며, 정확한 진단 이미징을 위한 중요한 작업인 의료 이미지 분할을 향상시킬 잠재력을 탐구하는 데 점점 더 관심이 증가하고 있습니다. 본 연구는 사전 훈련된 LLM 트랜스포머 블록을 통합하여 의료 이미지 분할을 향상시키는 방법을 탐구합니다. 저희의 접근 방식은 ViT 기반 모델의 인코더에 고정된 LLM 트랜스포머 블록을 통합함으로써, 다양한 의료 이미징 모달리티에서 분할 성능을 상당히 향상시킵니다. 우리는 글로벌 및 로컬 특징 학습을 결합하는 Hybrid Attention Mechanism과 다양한 스케일에서 특징을 집계하는 Multi-Scale Fusion Block을 제안합니다. 향상된 모델은 평균 Dice 점수가 0.74에서 0.79로 증가하고 정확도, 정밀도, Jaccard 지수 등이 향상되는 등 상당한 성능 향상을 보입니다. 이러한 결과는 의료 이미지 분할을 정제하는 데 LLM 기반 트랜스포머의 효과를 입증하며, 모델의 정확도와 견고성을 크게 향상시킬 수 있는 잠재력을 강조합니다. 소스 코드와 저희의 구현은 다음에서 확인할 수 있습니다: https://bit.ly/3zf2CVs

English

Large Language Models (LLMs), known for their versatility in textual data, are increasingly being explored for their potential to enhance medical image segmentation, a crucial task for accurate diagnostic imaging. This study explores enhancing Vision Transformers (ViTs) for medical image segmentation by integrating pre-trained LLM transformer blocks. Our approach, which incorporates a frozen LLM transformer block into the encoder of a ViT-based model, leads to substantial improvements in segmentation performance across various medical imaging modalities. We propose a Hybrid Attention Mechanism that combines global and local feature learning with a Multi-Scale Fusion Block for aggregating features across different scales. The enhanced model shows significant performance gains, including an average Dice score increase from 0.74 to 0.79 and improvements in accuracy, precision, and the Jaccard Index. These results demonstrate the effectiveness of LLM-based transformers in refining medical image segmentation, highlighting their potential to significantly boost model accuracy and robustness. The source code and our implementation are available at: https://bit.ly/3zf2CVs

MedVisionLlama: 사전 훈련된 대형 언어 모델 레이어를 활용하여 의료 이미지 분할 향상

MedVisionLlama: Leveraging Pre-Trained Large Language Model Layers to Enhance Medical Image Segmentation

초록

Summary

Support

Support