BALROG: Valutazione delle capacità di ragionamento agente LLM e VLM nei giochi

BALROG: Benchmarking Agentic LLM and VLM Reasoning On Games

November 20, 2024

Autori: Davide Paglieri, Bartłomiej Cupiał, Samuel Coward, Ulyana Piterbarg, Maciej Wolczyk, Akbir Khan, Eduardo Pignatelli, Łukasz Kuciński, Lerrel Pinto, Rob Fergus, Jakob Nicolaus Foerster, Jack Parker-Holder, Tim Rocktäschel

cs.AI

Abstract

I Large Language Models (LLM) e i Vision Language Models (VLM) possiedono una vasta conoscenza e mostrano promettenti capacità di ragionamento; tuttavia, faticano ancora a ottenere buoni risultati in ambienti complessi e dinamici. Le attività del mondo reale richiedono la gestione di interazioni intricate, un avanzato ragionamento spaziale, pianificazione a lungo termine e l'esplorazione continua di nuove strategie, aree in cui mancano metodologie efficaci per valutare in modo esaustivo queste capacità. Per colmare questa lacuna, presentiamo BALROG, un nuovo benchmark progettato per valutare le capacità agentiche di LLM e VLM attraverso una serie diversificata di giochi impegnativi. Il nostro benchmark incorpora una gamma di ambienti di apprendimento per rinforzo esistenti con diversi livelli di difficoltà, inclusi compiti risolvibili da non esperti umani in pochi secondi fino a quelli estremamente impegnativi che potrebbero richiedere anni per essere padroneggiati (ad esempio, l'Ambiente di Apprendimento NetHack). Sviluppiamo metriche dettagliate per misurare le prestazioni e conduciamo una valutazione approfondita di diversi LLM e VLM open-source e closed-source popolari. I nostri risultati indicano che mentre i modelli attuali ottengono un successo parziale nei giochi più facili, faticano significativamente con compiti più impegnativi. In particolare, osserviamo gravi carenze nella presa di decisioni basata sulla visione, poiché i modelli ottengono risultati peggiori quando vengono fornite rappresentazioni visive degli ambienti. Rilasciamo BALROG come un benchmark aperto e user-friendly per agevolare la ricerca e lo sviluppo futuri nella comunità agentica.

English

Large Language Models (LLMs) and Vision Language Models (VLMs) possess extensive knowledge and exhibit promising reasoning abilities; however, they still struggle to perform well in complex, dynamic environments. Real-world tasks require handling intricate interactions, advanced spatial reasoning, long-term planning, and continuous exploration of new strategies-areas in which we lack effective methodologies for comprehensively evaluating these capabilities. To address this gap, we introduce BALROG, a novel benchmark designed to assess the agentic capabilities of LLMs and VLMs through a diverse set of challenging games. Our benchmark incorporates a range of existing reinforcement learning environments with varying levels of difficulty, including tasks that are solvable by non-expert humans in seconds to extremely challenging ones that may take years to master (e.g., the NetHack Learning Environment). We devise fine-grained metrics to measure performance and conduct an extensive evaluation of several popular open-source and closed-source LLMs and VLMs. Our findings indicate that while current models achieve partial success in the easier games, they struggle significantly with more challenging tasks. Notably, we observe severe deficiencies in vision-based decision-making, as models perform worse when visual representations of the environments are provided. We release BALROG as an open and user-friendly benchmark to facilitate future research and development in the agentic community.