ShieldAgent: Protezione degli Agenti tramite Ragionamento Verificabile sulle Politiche di Sicurezza

ShieldAgent: Shielding Agents via Verifiable Safety Policy Reasoning

March 26, 2025

Autori: Zhaorun Chen, Mintong Kang, Bo Li

cs.AI

Abstract

Gli agenti autonomi alimentati da modelli di fondazione hanno visto un'ampia adozione in varie applicazioni del mondo reale. Tuttavia, rimangono altamente vulnerabili a istruzioni e attacchi malevoli, che possono portare a gravi conseguenze come violazioni della privacy e perdite finanziarie. Ancora più critico è il fatto che le attuali misure di sicurezza per i modelli linguistici di grandi dimensioni (LLM) non siano applicabili a causa della natura complessa e dinamica degli agenti. Per affrontare queste sfide, proponiamo ShieldAgent, il primo agente di sicurezza progettato per far rispettare il rispetto esplicito delle politiche di sicurezza per la traiettoria d'azione di altri agenti protetti attraverso il ragionamento logico. Nello specifico, ShieldAgent costruisce prima un modello di politica di sicurezza estraendo regole verificabili dai documenti delle politiche e strutturandole in un insieme di circuiti di regole probabilistiche basate sull'azione. Data la traiettoria d'azione dell'agente protetto, ShieldAgent recupera i circuiti di regole rilevanti e genera un piano di schermatura, sfruttando la sua ampia libreria di strumenti e il codice eseguibile per la verifica formale. Inoltre, data la mancanza di benchmark di sicurezza per gli agenti, introduciamo ShieldAgent-Bench, un dataset con 3K coppie di istruzioni e traiettorie d'azione relative alla sicurezza, raccolte tramite attacchi all'avanguardia in 6 ambienti web e 7 categorie di rischio. Gli esperimenti mostrano che ShieldAgent raggiunge lo stato dell'arte su ShieldAgent-Bench e tre benchmark esistenti, superando i metodi precedenti in media dell'11,3% con un alto richiamo del 90,1%. Inoltre, ShieldAgent riduce le query API del 64,7% e il tempo di inferenza del 58,2%, dimostrando la sua alta precisione ed efficienza nella protezione degli agenti.

English

Autonomous agents powered by foundation models have seen widespread adoption across various real-world applications. However, they remain highly vulnerable to malicious instructions and attacks, which can result in severe consequences such as privacy breaches and financial losses. More critically, existing guardrails for LLMs are not applicable due to the complex and dynamic nature of agents. To tackle these challenges, we propose ShieldAgent, the first guardrail agent designed to enforce explicit safety policy compliance for the action trajectory of other protected agents through logical reasoning. Specifically, ShieldAgent first constructs a safety policy model by extracting verifiable rules from policy documents and structuring them into a set of action-based probabilistic rule circuits. Given the action trajectory of the protected agent, ShieldAgent retrieves relevant rule circuits and generates a shielding plan, leveraging its comprehensive tool library and executable code for formal verification. In addition, given the lack of guardrail benchmarks for agents, we introduce ShieldAgent-Bench, a dataset with 3K safety-related pairs of agent instructions and action trajectories, collected via SOTA attacks across 6 web environments and 7 risk categories. Experiments show that ShieldAgent achieves SOTA on ShieldAgent-Bench and three existing benchmarks, outperforming prior methods by 11.3% on average with a high recall of 90.1%. Additionally, ShieldAgent reduces API queries by 64.7% and inference time by 58.2%, demonstrating its high precision and efficiency in safeguarding agents.