Leer-door-interactie: Een gegevensgericht raamwerk voor zelf-aanpassende agenten in realistische omgevingen.

Learn-by-interact: A Data-Centric Framework for Self-Adaptive Agents in Realistic Environments

January 18, 2025

Auteurs: Hongjin Su, Ruoxi Sun, Jinsung Yoon, Pengcheng Yin, Tao Yu, Sercan Ö. Arık

cs.AI

Samenvatting

Autonome agenten aangedreven door grote taalmodellen (LLM's) hebben het potentieel om menselijke capaciteiten te verbeteren door te assisteren bij digitale taken, variërend van het versturen van e-mails tot het uitvoeren van data-analyse. De vaardigheden van bestaande LLM's bij dergelijke taken worden vaak belemmerd door het gebrek aan hoogwaardige agentgegevens uit de bijbehorende omgevingen waarmee ze interacteren. Wij stellen Learn-by-interact voor, een op data gericht raamwerk om LLM-agenten aan te passen aan willekeurige omgevingen zonder menselijke annotaties. Learn-by-interact synthetiseert trajecten van agent-omgevingsinteracties op basis van documentatie, en construeert instructies door interactiegeschiedenissen samen te vatten of te abstraheren, een proces genaamd backward construction. We beoordelen de kwaliteit van onze synthetische gegevens door ze te gebruiken in zowel op training gebaseerde scenario's als trainingvrije in-context learning (ICL), waarbij we innovatieve ophaalbenaderingen ontwikkelen die geoptimaliseerd zijn voor agenten. Uitgebreide experimenten op SWE-bench, WebArena, OSWorld en Spider2-V, die zich uitstrekken over realistische coderings-, web- en desktopomgevingen, tonen de effectiviteit van Learn-by-interact in verschillende downstream agentische taken -- baselineresultaten worden verbeterd tot wel 12,2% voor ICL met Claude-3.5 en 19,5% voor training met Codestral-22B. We tonen verder de cruciale rol van backward construction aan, die tot 14,0% verbetering biedt voor training. Onze ablatiestudies tonen de efficiëntie aan die onze gesynthetiseerde gegevens bieden in ICL en de superioriteit van ons ophaalproces ten opzichte van alternatieve benaderingen zoals conventionele retrieval-augmented generation (RAG). Wij verwachten dat Learn-by-interact zal dienen als een basis voor agentgegevenssynthese nu LLM's steeds vaker worden ingezet in real-world omgevingen.

English

Autonomous agents powered by large language models (LLMs) have the potential to enhance human capabilities, assisting with digital tasks from sending emails to performing data analysis. The abilities of existing LLMs at such tasks are often hindered by the lack of high-quality agent data from the corresponding environments they interact with. We propose Learn-by-interact, a data-centric framework to adapt LLM agents to any given environments without human annotations. Learn-by-interact synthesizes trajectories of agent-environment interactions based on documentations, and constructs instructions by summarizing or abstracting the interaction histories, a process called backward construction. We assess the quality of our synthetic data by using them in both training-based scenarios and training-free in-context learning (ICL), where we craft innovative retrieval approaches optimized for agents. Extensive experiments on SWE-bench, WebArena, OSWorld and Spider2-V spanning across realistic coding, web, and desktop environments show the effectiveness of Learn-by-interact in various downstream agentic tasks -- baseline results are improved by up to 12.2\% for ICL with Claude-3.5 and 19.5\% for training with Codestral-22B. We further demonstrate the critical role of backward construction, which provides up to 14.0\% improvement for training. Our ablation studies demonstrate the efficiency provided by our synthesized data in ICL and the superiority of our retrieval pipeline over alternative approaches like conventional retrieval-augmented generation (RAG). We expect that Learn-by-interact will serve as a foundation for agent data synthesis as LLMs are increasingly deployed at real-world environments.