Auto-RT: Exploração Automática de Estratégias de Jailbreak para Teste de Penetração em Modelos de Linguagem de Grande Escala

Auto-RT: Automatic Jailbreak Strategy Exploration for Red-Teaming Large Language Models

January 3, 2025

Autores: Yanjiang Liu, Shuhen Zhou, Yaojie Lu, Huijia Zhu, Weiqiang Wang, Hongyu Lin, Ben He, Xianpei Han, Le Sun

cs.AI

Resumo

A realização automatizada de testes de invasão tornou-se uma abordagem crucial para descobrir vulnerabilidades em grandes modelos de linguagem (LLMs). No entanto, a maioria dos métodos existentes foca em falhas de segurança isoladas, limitando sua capacidade de se adaptar a defesas dinâmicas e descobrir vulnerabilidades complexas de forma eficiente. Para enfrentar esse desafio, propomos o Auto-RT, um framework de aprendizado por reforço que explora e otimiza automaticamente estratégias de ataque complexas para descobrir efetivamente vulnerabilidades de segurança por meio de consultas maliciosas. Especificamente, introduzimos dois mecanismos-chave para reduzir a complexidade da exploração e melhorar a otimização da estratégia: 1) Exploração com Término Antecipado, que acelera a exploração ao focar em estratégias de ataque com alto potencial; e 2) Algoritmo de Rastreamento de Recompensa Progressiva com modelos intermediários de degradação, que refinam dinamicamente a trajetória de busca em direção à exploração bem-sucedida de vulnerabilidades. Experimentos extensivos em diversos LLMs demonstram que, ao melhorar significativamente a eficiência da exploração e otimizar automaticamente as estratégias de ataque, o Auto-RT detecta uma gama mais ampla de vulnerabilidades, alcançando uma velocidade de detecção mais rápida e taxas de sucesso 16,63% mais altas em comparação com os métodos existentes.

English

Automated red-teaming has become a crucial approach for uncovering vulnerabilities in large language models (LLMs). However, most existing methods focus on isolated safety flaws, limiting their ability to adapt to dynamic defenses and uncover complex vulnerabilities efficiently. To address this challenge, we propose Auto-RT, a reinforcement learning framework that automatically explores and optimizes complex attack strategies to effectively uncover security vulnerabilities through malicious queries. Specifically, we introduce two key mechanisms to reduce exploration complexity and improve strategy optimization: 1) Early-terminated Exploration, which accelerate exploration by focusing on high-potential attack strategies; and 2) Progressive Reward Tracking algorithm with intermediate downgrade models, which dynamically refine the search trajectory toward successful vulnerability exploitation. Extensive experiments across diverse LLMs demonstrate that, by significantly improving exploration efficiency and automatically optimizing attack strategies, Auto-RT detects a boarder range of vulnerabilities, achieving a faster detection speed and 16.63\% higher success rates compared to existing methods.