DynaSaur: Agenti Linguistici di Ampie Dimensioni Oltre alle Azioni Predefinite

DynaSaur: Large Language Agents Beyond Predefined Actions

November 4, 2024

Autori: Dang Nguyen, Viet Dac Lai, Seunghyun Yoon, Ryan A. Rossi, Handong Zhao, Ruiyi Zhang, Puneet Mathur, Nedim Lipka, Yu Wang, Trung Bui, Franck Dernoncourt, Tianyi Zhou

cs.AI

Abstract

I sistemi di agenti LLM esistenti solitamente selezionano azioni da un insieme fisso e predefinito ad ogni passo. Sebbene questo approccio sia efficace in ambienti chiusi e dal campo d'azione limitato, sosteniamo che presenta due sfide principali quando si dispiegano agenti LLM in scenari reali: (1) la selezione da un insieme fisso di azioni limita significativamente le capacità di pianificazione e azione degli agenti LLM, e (2) questo approccio richiede uno sforzo umano sostanziale per enumerare e implementare tutte le possibili azioni, il che diventa impraticabile in ambienti complessi con un vasto numero di azioni potenziali. In questo lavoro, proponiamo un framework di agenti LLM che consente la creazione dinamica e la composizione di azioni in modo online. In questo framework, l'agente interagisce con l'ambiente generando ed eseguendo programmi scritti in un linguaggio di programmazione generale ad ogni passo. Inoltre, le azioni generate vengono accumulate nel tempo per un utilizzo futuro. I nostri ampi esperimenti sul benchmark GAIA dimostrano che questo framework offre una flessibilità significativamente maggiore e supera i metodi precedenti. In particolare, consente a un agente LLM di recuperare in scenari in cui non esiste un'azione rilevante nell'insieme predefinito o quando le azioni esistenti falliscono a causa di casi limite imprevisti. Al momento della stesura, deteniamo la posizione di vertice nella classifica pubblica di GAIA. Il nostro codice è disponibile su https://github.com/adobe-research/dynasaur.

English

Existing LLM agent systems typically select actions from a fixed and predefined set at every step. While this approach is effective in closed, narrowly-scoped environments, we argue that it presents two major challenges when deploying LLM agents in real-world scenarios: (1) selecting from a fixed set of actions significantly restricts the planning and acting capabilities of LLM agents, and (2) this approach requires substantial human effort to enumerate and implement all possible actions, which becomes impractical in complex environments with a vast number of potential actions. In this work, we propose an LLM agent framework that enables the dynamic creation and composition of actions in an online manner. In this framework, the agent interacts with the environment by generating and executing programs written in a general-purpose programming language at each step. Furthermore, generated actions are accumulated over time for future reuse. Our extensive experiments on the GAIA benchmark demonstrate that this framework offers significantly greater flexibility and outperforms previous methods. Notably, it allows an LLM agent to recover in scenarios where no relevant action exists in the predefined set or when existing actions fail due to unforeseen edge cases. At the time of writing, we hold the top position on the GAIA public leaderboard. Our code can be found in https://github.com/adobe-research/dynasaur{https://github.com/adobe-research/dynasaur}.