Lernen-durch-Interaktion: Ein datenzentrierter Rahmen für selbstadaptierende Agenten in realistischen Umgebungen

Learn-by-interact: A Data-Centric Framework for Self-Adaptive Agents in Realistic Environments

January 18, 2025

Autoren: Hongjin Su, Ruoxi Sun, Jinsung Yoon, Pengcheng Yin, Tao Yu, Sercan Ö. Arık

cs.AI

Zusammenfassung

Autonome Agenten, die von großen Sprachmodellen (LLMs) betrieben werden, haben das Potenzial, menschliche Fähigkeiten zu verbessern, indem sie bei digitalen Aufgaben wie dem Versenden von E-Mails oder der Durchführung von Datenanalysen unterstützen. Die Fähigkeiten bestehender LLMs bei solchen Aufgaben werden oft durch den Mangel an hochwertigen Agentendaten aus den entsprechenden Umgebungen, mit denen sie interagieren, behindert. Wir schlagen Learn-by-interact vor, ein datenzentriertes Framework, um LLM-Agenten an beliebige Umgebungen anzupassen, ohne menschliche Annotationen. Learn-by-interact synthetisiert Trajektorien von Agent-Umgebungsinteraktionen auf der Grundlage von Dokumentationen und erstellt Anweisungen, indem die Interaktionsgeschichten zusammengefasst oder abstrahiert werden, ein Prozess, der als rückwärtige Konstruktion bezeichnet wird. Wir bewerten die Qualität unserer synthetischen Daten, indem wir sie sowohl in trainingsbasierten Szenarien als auch im training-freien In-Context Learning (ICL) verwenden, bei dem wir innovative Abrufansätze für Agenten entwickeln. Umfangreiche Experimente auf SWE-bench, WebArena, OSWorld und Spider2-V, die realistische Codierungs-, Web- und Desktop-Umgebungen abdecken, zeigen die Wirksamkeit von Learn-by-interact bei verschiedenen nachgelagerten agentischen Aufgaben - Baseline-Ergebnisse werden um bis zu 12,2\% für ICL mit Claude-3.5 und 19,5\% für das Training mit Codestral-22B verbessert. Wir zeigen weiterhin die entscheidende Rolle der rückwärtigen Konstruktion auf, die eine Verbesserung von bis zu 14,0\% für das Training ermöglicht. Unsere Ablationsstudien zeigen die Effizienz unserer synthetisierten Daten im ICL und die Überlegenheit unserer Abrufpipeline gegenüber alternativen Ansätzen wie der konventionellen abrufgestützten Generierung (RAG). Wir erwarten, dass Learn-by-interact als Grundlage für die Synthese von Agentendaten dienen wird, da LLMs zunehmend in realen Umgebungen eingesetzt werden.

English

Autonomous agents powered by large language models (LLMs) have the potential to enhance human capabilities, assisting with digital tasks from sending emails to performing data analysis. The abilities of existing LLMs at such tasks are often hindered by the lack of high-quality agent data from the corresponding environments they interact with. We propose Learn-by-interact, a data-centric framework to adapt LLM agents to any given environments without human annotations. Learn-by-interact synthesizes trajectories of agent-environment interactions based on documentations, and constructs instructions by summarizing or abstracting the interaction histories, a process called backward construction. We assess the quality of our synthetic data by using them in both training-based scenarios and training-free in-context learning (ICL), where we craft innovative retrieval approaches optimized for agents. Extensive experiments on SWE-bench, WebArena, OSWorld and Spider2-V spanning across realistic coding, web, and desktop environments show the effectiveness of Learn-by-interact in various downstream agentic tasks -- baseline results are improved by up to 12.2\% for ICL with Claude-3.5 and 19.5\% for training with Codestral-22B. We further demonstrate the critical role of backward construction, which provides up to 14.0\% improvement for training. Our ablation studies demonstrate the efficiency provided by our synthesized data in ICL and the superiority of our retrieval pipeline over alternative approaches like conventional retrieval-augmented generation (RAG). We expect that Learn-by-interact will serve as a foundation for agent data synthesis as LLMs are increasingly deployed at real-world environments.