Proposer-Agent-Evaluator (PAE): Descoberta Autônoma de Habilidades para Agentes de Internet Modelo Fundação

Proposer-Agent-Evaluator(PAE): Autonomous Skill Discovery For Foundation Model Internet Agents

December 17, 2024

Autores: Yifei Zhou, Qianlan Yang, Kaixiang Lin, Min Bai, Xiong Zhou, Yu-Xiong Wang, Sergey Levine, Erran Li

cs.AI

Resumo

A visão de um agente amplamente capaz e direcionado a objetivos, como um agente de navegação na Internet no mundo digital e um humanoide doméstico no mundo físico, avançou rapidamente, graças à capacidade de generalização dos modelos fundamentais. Um agente generalista desse tipo precisa ter um repertório de habilidades amplo e diversificado, como encontrar direções entre dois locais de viagem e comprar itens específicos na Internet. Se cada habilidade precisar ser especificada manualmente por meio de um conjunto fixo de instruções anotadas por humanos, o repertório de habilidades do agente será necessariamente limitado devido à quantidade e diversidade de instruções anotadas por humanos. Neste trabalho, abordamos esse desafio propondo o Proposer-Agent-Evaluator, um sistema de aprendizado eficaz que permite que agentes de modelos fundamentais descubram e pratiquem habilidades autonomamente na natureza. No cerne do PAE está um proponente de tarefas consciente do contexto que propõe autonomamente tarefas para o agente praticar com informações de contexto do ambiente, como demonstrações do usuário ou até mesmo apenas o nome do próprio site para agentes de navegação na Internet. Em seguida, a política do agente tenta essas tarefas com pensamentos e operações concretas no mundo real, com trajetórias resultantes avaliadas por um avaliador de sucesso baseado em VLM autônomo. A avaliação de sucesso serve como sinal de recompensa para o agente refinar suas políticas por meio de RL. Validamos o PAE na desafiadora navegação na web baseada em visão, utilizando sites do mundo real e auto-hospedados do WebVoyager e WebArena. Até onde sabemos, este trabalho representa o primeiro sistema de aprendizado eficaz a aplicar proposta autônoma de tarefas com RL para agentes que generalizam benchmarks anotados por humanos do mundo real com desempenhos de SOTA. Nossos checkpoints e código de código aberto podem ser encontrados em https://yanqval.github.io/PAE/

English

The vision of a broadly capable and goal-directed agent, such as an Internet-browsing agent in the digital world and a household humanoid in the physical world, has rapidly advanced, thanks to the generalization capability of foundation models. Such a generalist agent needs to have a large and diverse skill repertoire, such as finding directions between two travel locations and buying specific items from the Internet. If each skill needs to be specified manually through a fixed set of human-annotated instructions, the agent's skill repertoire will necessarily be limited due to the quantity and diversity of human-annotated instructions. In this work, we address this challenge by proposing Proposer-Agent-Evaluator, an effective learning system that enables foundation model agents to autonomously discover and practice skills in the wild. At the heart of PAE is a context-aware task proposer that autonomously proposes tasks for the agent to practice with context information of the environment such as user demos or even just the name of the website itself for Internet-browsing agents. Then, the agent policy attempts those tasks with thoughts and actual grounded operations in the real world with resulting trajectories evaluated by an autonomous VLM-based success evaluator. The success evaluation serves as the reward signal for the agent to refine its policies through RL. We validate PAE on challenging vision-based web navigation, using both real-world and self-hosted websites from WebVoyager and WebArena.To the best of our knowledge, this work represents the first effective learning system to apply autonomous task proposal with RL for agents that generalizes real-world human-annotated benchmarks with SOTA performances. Our open-source checkpoints and code can be found in https://yanqval.github.io/PAE/