Webagenten met wereldmodellen: het leren en benutten van omgevingsdynamiek in webnavigatie

Web Agents with World Models: Learning and Leveraging Environment Dynamics in Web Navigation

October 17, 2024

Auteurs: Hyungjoo Chae, Namyoung Kim, Kai Tzu-iunn Ong, Minju Gwak, Gwanwoo Song, Jihoon Kim, Sunghwan Kim, Dongha Lee, Jinyoung Yeo

cs.AI

Samenvatting

Grote taalmodellen (LLM's) hebben recent veel aandacht gekregen bij het bouwen van autonome agenten. Echter, de prestaties van huidige op LLM gebaseerde webagenten in taken met een lange horizon zijn verre van optimaal, waarbij vaak fouten optreden zoals herhaaldelijk het kopen van een niet-restitueerbaar vliegticket. In tegenstelling hiermee kunnen mensen dergelijke onomkeerbare fouten vermijden, omdat we ons bewust zijn van de mogelijke uitkomsten (bijv. geld verliezen) van onze acties, ook wel bekend als het "wereldmodel". Gemotiveerd door dit gegeven, begint onze studie eerst met voorlopige analyses, waarbij de afwezigheid van wereldmodellen in huidige LLM's (bijv. GPT-4o, Claude-3.5-Sonnet, enz.) wordt bevestigd. Vervolgens presenteren we een Webagent met een Wereldmodel-augmentatie (WMA), die de uitkomsten van zijn acties simuleert voor betere besluitvorming. Om de uitdagingen bij het trainen van LLM's als wereldmodellen die de volgende observaties voorspellen, zoals herhaalde elementen over observaties heen en lange HTML-invoer, te overwinnen, stellen we een op transitie gerichte observatieabstractie voor, waarbij de voorspellingsdoelstellingen vrije natuurlijke taalbeschrijvingen zijn die uitsluitend de belangrijke statusverschillen tussen tijdstappen benadrukken. Experimenten op WebArena en Mind2Web tonen aan dat onze wereldmodellen de beleidsselectie van agenten verbeteren zonder training en laten zien dat onze agenten kost- en tijdefficiënter zijn in vergelijking met recente op boomzoek gebaseerde agenten.

English

Large language models (LLMs) have recently gained much attention in building autonomous agents. However, the performance of current LLM-based web agents in long-horizon tasks is far from optimal, often yielding errors such as repeatedly buying a non-refundable flight ticket. By contrast, humans can avoid such an irreversible mistake, as we have an awareness of the potential outcomes (e.g., losing money) of our actions, also known as the "world model". Motivated by this, our study first starts with preliminary analyses, confirming the absence of world models in current LLMs (e.g., GPT-4o, Claude-3.5-Sonnet, etc.). Then, we present a World-model-augmented (WMA) web agent, which simulates the outcomes of its actions for better decision-making. To overcome the challenges in training LLMs as world models predicting next observations, such as repeated elements across observations and long HTML inputs, we propose a transition-focused observation abstraction, where the prediction objectives are free-form natural language descriptions exclusively highlighting important state differences between time steps. Experiments on WebArena and Mind2Web show that our world models improve agents' policy selection without training and demonstrate our agents' cost- and time-efficiency compared to recent tree-search-based agents.