Esplorazione automatica della strategia di jailbreak per il red teaming di grandi modelli di linguaggio.

Auto-RT: Automatic Jailbreak Strategy Exploration for Red-Teaming Large Language Models

January 3, 2025

Autori: Yanjiang Liu, Shuhen Zhou, Yaojie Lu, Huijia Zhu, Weiqiang Wang, Hongyu Lin, Ben He, Xianpei Han, Le Sun

cs.AI

Abstract

Il red-teaming automatizzato è diventato un approccio cruciale per scoprire vulnerabilità nei grandi modelli linguistici (LLM). Tuttavia, la maggior parte dei metodi esistenti si concentra su difetti di sicurezza isolati, limitando la capacità di adattarsi alle difese dinamiche e scoprire vulnerabilità complesse in modo efficiente. Per affrontare questa sfida, proponiamo Auto-RT, un framework di apprendimento per rinforzo che esplora e ottimizza automaticamente strategie di attacco complesse per scoprire efficacemente vulnerabilità di sicurezza attraverso query maliziose. In particolare, introduciamo due meccanismi chiave per ridurre la complessità dell'esplorazione e migliorare l'ottimizzazione della strategia: 1) Esplorazione con termine anticipato, che accelera l'esplorazione concentrandosi su strategie di attacco ad alto potenziale; e 2) Algoritmo di tracciamento progressivo delle ricompense con modelli di declassamento intermedi, che raffinano dinamicamente la traiettoria di ricerca verso lo sfruttamento di vulnerabilità di successo. Estesi esperimenti su diversi LLM dimostrano che, migliorando significativamente l'efficienza dell'esplorazione e ottimizzando automaticamente le strategie di attacco, Auto-RT rileva un'ampia gamma di vulnerabilità, raggiungendo una maggiore velocità di rilevamento e tassi di successo superiori del 16,63% rispetto ai metodi esistenti.

English

Automated red-teaming has become a crucial approach for uncovering vulnerabilities in large language models (LLMs). However, most existing methods focus on isolated safety flaws, limiting their ability to adapt to dynamic defenses and uncover complex vulnerabilities efficiently. To address this challenge, we propose Auto-RT, a reinforcement learning framework that automatically explores and optimizes complex attack strategies to effectively uncover security vulnerabilities through malicious queries. Specifically, we introduce two key mechanisms to reduce exploration complexity and improve strategy optimization: 1) Early-terminated Exploration, which accelerate exploration by focusing on high-potential attack strategies; and 2) Progressive Reward Tracking algorithm with intermediate downgrade models, which dynamically refine the search trajectory toward successful vulnerability exploitation. Extensive experiments across diverse LLMs demonstrate that, by significantly improving exploration efficiency and automatically optimizing attack strategies, Auto-RT detects a boarder range of vulnerabilities, achieving a faster detection speed and 16.63\% higher success rates compared to existing methods.