Prompt2Perturb (P2P): 유방 초음파 이미지에 대한 텍스트 안내 확산 기반 적대적 공격

초록

심층 신경망(DNNs)은 의료 영상에서 유방암 진단을 개선하는 데 상당한 잠재력을 제공합니다. 그러나 이러한 모델은 적은, 감지하기 어려운 변경으로 분류기를 속일 수 있는 적대적 공격에 매우 취약합니다. 이는 그들의 신뢰성과 보안에 대한 중요한 우려를 불러일으킵니다. 기존의 공격은 고정된 노름의 변형에 의존하며, 인간의 지각과 불일치합니다. 이에 반해 확산 기반 공격은 사전 훈련된 모델을 필요로 하며, 이러한 모델이 없는 경우에는 상당한 데이터를 요구하여 데이터 부족한 시나리오에서의 실용성을 제한합니다. 그러나 의료 영상에서는 데이터셋의 제한된 가용성으로 인해 이는 종종 불가능합니다. 최근 학습 가능한 프롬프트의 발전을 기반으로, 우리는 텍스트 지침에 의해 주도되는 의미 있는 공격 예제를 생성할 수 있는 새로운 언어 지침 공격 방법인 Prompt2Perturb (P2P)를 제안합니다. 프롬프트 학습 단계에서 우리의 접근 방식은 텍스트 인코더 내에서 학습 가능한 프롬프트를 활용하여 인간이 감지하기 어렵지만 모델을 특정 결과로 이끄는 의미 있는 변형을 만들어냅니다. 현재의 프롬프트 학습 기반 접근 방식과 대조적으로, 우리의 P2P는 텍스트 임베딩을 직접 업데이트하여 확산 모델 재훈련의 필요성을 회피합니다. 더 나아가, 초기 역확산 단계만 최적화하는 것이 효율성을 높이는 것과 함께 생성된 적대적 예제에 섬세한 잡음을 포함시키는 것을 보장하여 초음파 영상 품질을 유지하면서 눈에 띄는 아티팩트를 도입하지 않습니다. 우리의 방법이 FID 및 LPIPS에서 세 가지 유방 초음파 데이터셋에서 최첨단 공격 기술을 능가함을 보여줍니다. 게다가 생성된 이미지는 기존의 적대적 공격과 비교하여 외관이 더 자연스럽고 효과적입니다. 우리의 코드는 공개적으로 이용 가능할 것입니다. (https://github.com/yasamin-med/P2P)

English

Deep neural networks (DNNs) offer significant promise for improving breast cancer diagnosis in medical imaging. However, these models are highly susceptible to adversarial attacks--small, imperceptible changes that can mislead classifiers--raising critical concerns about their reliability and security. Traditional attacks rely on fixed-norm perturbations, misaligning with human perception. In contrast, diffusion-based attacks require pre-trained models, demanding substantial data when these models are unavailable, limiting practical use in data-scarce scenarios. In medical imaging, however, this is often unfeasible due to the limited availability of datasets. Building on recent advancements in learnable prompts, we propose Prompt2Perturb (P2P), a novel language-guided attack method capable of generating meaningful attack examples driven by text instructions. During the prompt learning phase, our approach leverages learnable prompts within the text encoder to create subtle, yet impactful, perturbations that remain imperceptible while guiding the model towards targeted outcomes. In contrast to current prompt learning-based approaches, our P2P stands out by directly updating text embeddings, avoiding the need for retraining diffusion models. Further, we leverage the finding that optimizing only the early reverse diffusion steps boosts efficiency while ensuring that the generated adversarial examples incorporate subtle noise, thus preserving ultrasound image quality without introducing noticeable artifacts. We show that our method outperforms state-of-the-art attack techniques across three breast ultrasound datasets in FID and LPIPS. Moreover, the generated images are both more natural in appearance and more effective compared to existing adversarial attacks. Our code will be publicly available https://github.com/yasamin-med/P2P.

Prompt2Perturb (P2P): 유방 초음파 이미지에 대한 텍스트 안내 확산 기반 적대적 공격

Prompt2Perturb (P2P): Text-Guided Diffusion-Based Adversarial Attacks on Breast Ultrasound Images

초록

Support