Prompt2Perturb (P2P): Attacchi avversari basati sulla diffusione guidata dal testo alle immagini ad ultrasuoni al seno

Prompt2Perturb (P2P): Text-Guided Diffusion-Based Adversarial Attacks on Breast Ultrasound Images

December 13, 2024

Autori: Yasamin Medghalchi, Moein Heidari, Clayton Allard, Leonid Sigal, Ilker Hacihaliloglu

cs.AI

Abstract

Le reti neurali profonde (DNN) offrono un notevole potenziale per migliorare la diagnosi del cancro al seno nell'ambito dell'immagine medica. Tuttavia, questi modelli sono altamente suscettibili agli attacchi avversari - piccoli cambiamenti impercettibili che possono ingannare i classificatori - sollevando preoccupazioni critiche sulla loro affidabilità e sicurezza. Gli attacchi tradizionali si basano su perturbazioni con norma fissa, non allineate con la percezione umana. Al contrario, gli attacchi basati sulla diffusione richiedono modelli preaddestrati, esigendo un notevole quantitativo di dati quando tali modelli non sono disponibili, limitando l'uso pratico in scenari con scarsità di dati. Tuttavia, in ambito di immagini mediche, ciò risulta spesso impraticabile a causa della limitata disponibilità di dataset. Basandoci sui recenti progressi nei prompt apprendibili, proponiamo Prompt2Perturb (P2P), un nuovo metodo di attacco guidato dal linguaggio in grado di generare esempi di attacco significativi guidati da istruzioni testuali. Durante la fase di apprendimento del prompt, il nostro approccio sfrutta prompt apprendibili all'interno dell'encoder di testo per creare perturbazioni sottili, ma incisive, che rimangono impercettibili mentre guidano il modello verso risultati mirati. In contrasto con gli approcci attuali basati sull'apprendimento del prompt, il nostro P2P si distingue per l'aggiornamento diretto degli embedding di testo, evitando la necessità di riaaddestrare i modelli di diffusione. Inoltre, sfruttiamo la scoperta che ottimizzare solo i primi passaggi di diffusione inversa aumenta l'efficienza garantendo che gli esempi avversari generati incorporino rumore sottile, preservando così la qualità dell'immagine ad ultrasuoni senza introdurre artefatti evidenti. Dimostriamo che il nostro metodo supera le tecniche di attacco all'avanguardia su tre dataset di ultrasuoni al seno in FID e LPIPS. Inoltre, le immagini generate sono sia più naturali nell'aspetto che più efficaci rispetto agli attacchi avversari esistenti. Il nostro codice sarà disponibile pubblicamente su https://github.com/yasamin-med/P2P.

English

Deep neural networks (DNNs) offer significant promise for improving breast cancer diagnosis in medical imaging. However, these models are highly susceptible to adversarial attacks--small, imperceptible changes that can mislead classifiers--raising critical concerns about their reliability and security. Traditional attacks rely on fixed-norm perturbations, misaligning with human perception. In contrast, diffusion-based attacks require pre-trained models, demanding substantial data when these models are unavailable, limiting practical use in data-scarce scenarios. In medical imaging, however, this is often unfeasible due to the limited availability of datasets. Building on recent advancements in learnable prompts, we propose Prompt2Perturb (P2P), a novel language-guided attack method capable of generating meaningful attack examples driven by text instructions. During the prompt learning phase, our approach leverages learnable prompts within the text encoder to create subtle, yet impactful, perturbations that remain imperceptible while guiding the model towards targeted outcomes. In contrast to current prompt learning-based approaches, our P2P stands out by directly updating text embeddings, avoiding the need for retraining diffusion models. Further, we leverage the finding that optimizing only the early reverse diffusion steps boosts efficiency while ensuring that the generated adversarial examples incorporate subtle noise, thus preserving ultrasound image quality without introducing noticeable artifacts. We show that our method outperforms state-of-the-art attack techniques across three breast ultrasound datasets in FID and LPIPS. Moreover, the generated images are both more natural in appearance and more effective compared to existing adversarial attacks. Our code will be publicly available https://github.com/yasamin-med/P2P.