Web-Agenten mit Weltmodellen: Lernen und Nutzen der Umgebungsdynamik bei der Web-Navigation

Web Agents with World Models: Learning and Leveraging Environment Dynamics in Web Navigation

October 17, 2024

Autoren: Hyungjoo Chae, Namyoung Kim, Kai Tzu-iunn Ong, Minju Gwak, Gwanwoo Song, Jihoon Kim, Sunghwan Kim, Dongha Lee, Jinyoung Yeo

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben in letzter Zeit viel Aufmerksamkeit bei der Entwicklung autonomer Agenten erlangt. Die Leistung aktueller LLM-basierter Web-Agenten bei langfristigen Aufgaben ist jedoch weit entfernt von optimal und führt oft zu Fehlern wie dem wiederholten Kauf eines nicht erstattungsfähigen Flugtickets. Im Gegensatz dazu können Menschen solch einen unumkehrbaren Fehler vermeiden, da wir ein Bewusstsein für die möglichen Ergebnisse (z. B. Geldverlust) unserer Handlungen haben, auch bekannt als "Weltmodell". Inspiriert davon beginnt unsere Studie zunächst mit vorläufigen Analysen, die das Fehlen von Weltmodellen in aktuellen LLMs (z. B. GPT-4o, Claude-3.5-Sonnet usw.) bestätigen. Anschließend präsentieren wir einen webbasierten Agenten mit Weltmodell-Erweiterung (WMA), der die Ergebnisse seiner Handlungen simuliert, um bessere Entscheidungen zu treffen. Um die Herausforderungen beim Training von LLMs als Weltmodelle zur Vorhersage zukünftiger Beobachtungen zu überwinden, wie wiederholte Elemente in den Beobachtungen und lange HTML-Eingaben, schlagen wir eine auf Übergängen fokussierte Beobachtungsabstraktion vor. Dabei sind die Vorhersageziele frei formulierte natürlichsprachliche Beschreibungen, die ausschließlich wichtige Zustandsunterschiede zwischen den Zeitpunkten hervorheben. Experimente auf WebArena und Mind2Web zeigen, dass unsere Weltmodelle die Auswahl von Richtlinien der Agenten ohne Training verbessern und die Kosteneffizienz und Zeitersparnis unserer Agenten im Vergleich zu aktuellen baumsuchbasierten Agenten demonstrieren.

English

Large language models (LLMs) have recently gained much attention in building autonomous agents. However, the performance of current LLM-based web agents in long-horizon tasks is far from optimal, often yielding errors such as repeatedly buying a non-refundable flight ticket. By contrast, humans can avoid such an irreversible mistake, as we have an awareness of the potential outcomes (e.g., losing money) of our actions, also known as the "world model". Motivated by this, our study first starts with preliminary analyses, confirming the absence of world models in current LLMs (e.g., GPT-4o, Claude-3.5-Sonnet, etc.). Then, we present a World-model-augmented (WMA) web agent, which simulates the outcomes of its actions for better decision-making. To overcome the challenges in training LLMs as world models predicting next observations, such as repeated elements across observations and long HTML inputs, we propose a transition-focused observation abstraction, where the prediction objectives are free-form natural language descriptions exclusively highlighting important state differences between time steps. Experiments on WebArena and Mind2Web show that our world models improve agents' policy selection without training and demonstrate our agents' cost- and time-efficiency compared to recent tree-search-based agents.