AgentRewardBench: Valutazione delle Valutazioni Automatiche delle Traiettorie degli Agenti Web

AgentRewardBench: Evaluating Automatic Evaluations of Web Agent Trajectories

April 11, 2025

Autori: Xing Han Lù, Amirhossein Kazemnejad, Nicholas Meade, Arkil Patel, Dongchan Shin, Alejandra Zambrano, Karolina Stańczak, Peter Shaw, Christopher J. Pal, Siva Reddy

cs.AI

Abstract

Gli agenti web consentono agli utenti di eseguire attività sui browser web attraverso l'interazione in linguaggio naturale. Valutare le traiettorie degli agenti web è un problema importante, poiché ci aiuta a determinare se l'agente ha completato con successo le attività. I metodi basati su regole sono ampiamente utilizzati a questo scopo, ma sono difficili da estendere a nuove attività e potrebbero non sempre riconoscere le traiettorie di successo. Potremmo ottenere una maggiore accuratezza attraverso la valutazione umana, ma il processo sarebbe sostanzialmente più lento e costoso. Le valutazioni automatiche con LLM potrebbero evitare le sfide legate alla progettazione di nuove regole e all'annotazione manuale delle traiettorie, consentendo una valutazione più rapida ed economica. Tuttavia, non è chiaro quanto siano efficaci nel valutare gli agenti web. A tal fine, proponiamo AgentRewardBench, il primo benchmark per valutare l'efficacia dei giudici LLM nella valutazione degli agenti web. AgentRewardBench contiene 1302 traiettorie provenienti da 5 benchmark e 4 LLM. Ogni traiettoria in AgentRewardBench viene revisionata da un esperto, che risponde a domande relative al successo, agli effetti collaterali e alla ripetitività dell'agente. Utilizzando il nostro benchmark, valutiamo 12 giudici LLM e scopriamo che nessun singolo LLM eccelle in tutti i benchmark. Troviamo inoltre che la valutazione basata su regole utilizzata dai benchmark comuni tende a sottostimare il tasso di successo degli agenti web, evidenziando una debolezza chiave della valutazione basata su regole e la necessità di sviluppare valutazioni automatiche più flessibili. Rilasciamo il benchmark all'indirizzo: https://agent-reward-bench.github.io

English

Web agents enable users to perform tasks on web browsers through natural language interaction. Evaluating web agents trajectories is an important problem, since it helps us determine whether the agent successfully completed the tasks. Rule-based methods are widely used for this purpose, but they are challenging to extend to new tasks and may not always recognize successful trajectories. We may achieve higher accuracy through human evaluation, but the process would be substantially slower and more expensive. Automatic evaluations with LLMs may avoid the challenges of designing new rules and manually annotating trajectories, enabling faster and cost-effective evaluation. However, it is unclear how effective they are at evaluating web agents. To this end, we propose AgentRewardBench, the first benchmark to assess the effectiveness of LLM judges for evaluating web agents. AgentRewardBench contains 1302 trajectories across 5 benchmarks and 4 LLMs. Each trajectory in AgentRewardBench is reviewed by an expert, who answers questions pertaining to the success, side effects, and repetitiveness of the agent. Using our benchmark, we evaluate 12 LLM judges and find that no single LLM excels across all benchmarks. We also find that the rule-based evaluation used by common benchmarks tends to underreport the success rate of web agents, highlighting a key weakness of rule-based evaluation and the need to develop more flexible automatic evaluations. We release the benchmark at: https://agent-reward-bench.github.io