Agent-SafetyBench: Valutazione della Sicurezza degli Agenti LLM

Agent-SafetyBench: Evaluating the Safety of LLM Agents

December 19, 2024

Autori: Zhexin Zhang, Shiyao Cui, Yida Lu, Jingzhuo Zhou, Junxiao Yang, Hongning Wang, Minlie Huang

cs.AI

Abstract

Con l'aumento dell'impiego degli ampi modelli linguistici (LLM) come agenti, la loro integrazione in ambienti interattivi e nell'uso di strumenti introduce nuove sfide di sicurezza oltre a quelle associate ai modelli stessi. Tuttavia, l'assenza di benchmark completi per valutare la sicurezza degli agenti rappresenta un significativo ostacolo per una valutazione efficace e ulteriore miglioramento. In questo articolo, presentiamo Agent-SafetyBench, un benchmark completo progettato per valutare la sicurezza degli agenti LLM. Agent-SafetyBench comprende 349 ambienti di interazione e 2.000 casi di test, valutando 8 categorie di rischi di sicurezza e coprendo 10 modalità di fallimento comuni frequentemente riscontrate nelle interazioni non sicure. La nostra valutazione di 16 popolari agenti LLM rivela un risultato preoccupante: nessuno degli agenti raggiunge un punteggio di sicurezza superiore al 60%. Ciò evidenzia significative sfide di sicurezza negli agenti LLM e sottolinea il considerevole bisogno di miglioramento. Attraverso un'analisi quantitativa, identifichiamo modalità di fallimento critiche e riassumiamo due rilevanti difetti di sicurezza nei attuali agenti LLM: la mancanza di robustezza e la mancanza di consapevolezza del rischio. Inoltre, le nostre conclusioni suggeriscono che fare affidamento solo su prompt di difesa non è sufficiente per affrontare queste problematiche di sicurezza, sottolineando la necessità di strategie più avanzate e robuste. Rilasciamo Agent-SafetyBench su https://github.com/thu-coai/Agent-SafetyBench per agevolare ulteriori ricerche e innovazioni nella valutazione e miglioramento della sicurezza degli agenti.

English

As large language models (LLMs) are increasingly deployed as agents, their integration into interactive environments and tool use introduce new safety challenges beyond those associated with the models themselves. However, the absence of comprehensive benchmarks for evaluating agent safety presents a significant barrier to effective assessment and further improvement. In this paper, we introduce Agent-SafetyBench, a comprehensive benchmark designed to evaluate the safety of LLM agents. Agent-SafetyBench encompasses 349 interaction environments and 2,000 test cases, evaluating 8 categories of safety risks and covering 10 common failure modes frequently encountered in unsafe interactions. Our evaluation of 16 popular LLM agents reveals a concerning result: none of the agents achieves a safety score above 60%. This highlights significant safety challenges in LLM agents and underscores the considerable need for improvement. Through quantitative analysis, we identify critical failure modes and summarize two fundamental safety detects in current LLM agents: lack of robustness and lack of risk awareness. Furthermore, our findings suggest that reliance on defense prompts alone is insufficient to address these safety issues, emphasizing the need for more advanced and robust strategies. We release Agent-SafetyBench at https://github.com/thu-coai/Agent-SafetyBench to facilitate further research and innovation in agent safety evaluation and improvement.