JailDAM: Rilevamento di Jailbreak con Memoria Adattativa per Modelli Visione-Linguaggio

JailDAM: Jailbreak Detection with Adaptive Memory for Vision-Language Model

April 3, 2025

Autori: Yi Nian, Shenzhe Zhu, Yuehan Qin, Li Li, Ziyi Wang, Chaowei Xiao, Yue Zhao

cs.AI

Abstract

I modelli linguistici multimodali di grandi dimensioni (MLLM) eccellono nei compiti di visione e linguaggio, ma presentano anche rischi significativi di generare contenuti dannosi, in particolare attraverso attacchi di jailbreak. Gli attacchi di jailbreak si riferiscono a manipolazioni intenzionali che bypassano i meccanismi di sicurezza nei modelli, portando alla generazione di contenuti inappropriati o non sicuri. Rilevare tali attacchi è fondamentale per garantire un impiego responsabile degli MLLM. I metodi esistenti per il rilevamento dei jailbreak affrontano tre principali sfide: (1) Molti si basano sugli stati nascosti o sui gradienti del modello, limitando la loro applicabilità ai modelli white-box, dove il funzionamento interno del modello è accessibile; (2) Comportano un elevato overhead computazionale dovuto all'analisi basata sull'incertezza, che limita il rilevamento in tempo reale, e (3) Richiedono dataset dannosi completamente etichettati, che sono spesso scarsi negli scenari reali. Per affrontare questi problemi, introduciamo un framework adattivo al tempo di test chiamato JAILDAM. Il nostro metodo sfrutta un approccio basato sulla memoria guidato da rappresentazioni di conoscenza non sicura guidate da policy, eliminando la necessità di un'esposizione esplicita a dati dannosi. Aggiornando dinamicamente la conoscenza non sicura durante il test, il nostro framework migliora la generalizzazione a strategie di jailbreak non viste, mantenendo al contempo l'efficienza. Esperimenti su più benchmark di jailbreak per modelli di visione e linguaggio dimostrano che JAILDAM offre prestazioni all'avanguardia nel rilevamento di contenuti dannosi, migliorando sia l'accuratezza che la velocità.

English

Multimodal large language models (MLLMs) excel in vision-language tasks but also pose significant risks of generating harmful content, particularly through jailbreak attacks. Jailbreak attacks refer to intentional manipulations that bypass safety mechanisms in models, leading to the generation of inappropriate or unsafe content. Detecting such attacks is critical to ensuring the responsible deployment of MLLMs. Existing jailbreak detection methods face three primary challenges: (1) Many rely on model hidden states or gradients, limiting their applicability to white-box models, where the internal workings of the model are accessible; (2) They involve high computational overhead from uncertainty-based analysis, which limits real-time detection, and (3) They require fully labeled harmful datasets, which are often scarce in real-world settings. To address these issues, we introduce a test-time adaptive framework called JAILDAM. Our method leverages a memory-based approach guided by policy-driven unsafe knowledge representations, eliminating the need for explicit exposure to harmful data. By dynamically updating unsafe knowledge during test-time, our framework improves generalization to unseen jailbreak strategies while maintaining efficiency. Experiments on multiple VLM jailbreak benchmarks demonstrate that JAILDAM delivers state-of-the-art performance in harmful content detection, improving both accuracy and speed.