提案者-エージェント-評価者（PAE）：基盤モデルインターネットエージェントのための自律スキル発見

Proposer-Agent-Evaluator(PAE): Autonomous Skill Discovery For Foundation Model Internet Agents

December 17, 2024

著者: Yifei Zhou, Qianlan Yang, Kaixiang Lin, Min Bai, Xiong Zhou, Yu-Xiong Wang, Sergey Levine, Erran Li

cs.AI

要旨

広範囲にわたる能力を持ち、目標を持つエージェントのビジョン、例えばデジタル世界のインターネット閲覧エージェントや物理世界の家庭用ヒューマノイドなどは、基盤モデルの一般化能力のおかげで急速に進化しています。このような汎用エージェントは、2つの旅行先の間の経路を見つけたり、インターネットから特定のアイテムを購入したりするなど、多岐にわたるスキルを持つ必要があります。各スキルを人手で固定された一連の人間注釈付きの指示を通じて明示する必要がある場合、エージェントのスキルレパートリーは、人間注釈付きの指示の量と多様性のために必然的に制限されることになります。本研究では、この課題に取り組み、基盤モデルエージェントが野生でスキルを自律的に発見して練習できる効果的な学習システムである「提案者-エージェント-評価者（PAE）」を提案しています。PAEの中心には、環境のコンテキスト情報（ユーザーデモやインターネット閲覧エージェントのウェブサイト名など）を用いて、エージェントが練習するタスクを自律的に提案するコンテキストに敏感なタスク提案者があります。その後、エージェントポリシーは、実際の世界での思考と具体的な操作を伴うこれらのタスクに取り組み、その結果の軌跡は自律VLMベースの成功評価者によって評価されます。成功評価は、エージェントがRLを通じてポリシーを改良するための報酬信号として機能します。私たちは、WebVoyagerおよびWebArenaからの実世界および自己ホスト型のウェブサイトを使用して、挑戦的なビジョンベースのWebナビゲーションでPAEを検証します。私たちの知る限りでは、この研究は、SOTAのパフォーマンスを持つ実世界の人間注釈付きベンチマークを一般化するエージェントのための自律的なタスク提案とRLを適用する初の効果的な学習システムを表しています。私たちのオープンソースのチェックポイントとコードは、https://yanqval.github.io/PAE/ で入手できます。

English

The vision of a broadly capable and goal-directed agent, such as an Internet-browsing agent in the digital world and a household humanoid in the physical world, has rapidly advanced, thanks to the generalization capability of foundation models. Such a generalist agent needs to have a large and diverse skill repertoire, such as finding directions between two travel locations and buying specific items from the Internet. If each skill needs to be specified manually through a fixed set of human-annotated instructions, the agent's skill repertoire will necessarily be limited due to the quantity and diversity of human-annotated instructions. In this work, we address this challenge by proposing Proposer-Agent-Evaluator, an effective learning system that enables foundation model agents to autonomously discover and practice skills in the wild. At the heart of PAE is a context-aware task proposer that autonomously proposes tasks for the agent to practice with context information of the environment such as user demos or even just the name of the website itself for Internet-browsing agents. Then, the agent policy attempts those tasks with thoughts and actual grounded operations in the real world with resulting trajectories evaluated by an autonomous VLM-based success evaluator. The success evaluation serves as the reward signal for the agent to refine its policies through RL. We validate PAE on challenging vision-based web navigation, using both real-world and self-hosted websites from WebVoyager and WebArena.To the best of our knowledge, this work represents the first effective learning system to apply autonomous task proposal with RL for agents that generalizes real-world human-annotated benchmarks with SOTA performances. Our open-source checkpoints and code can be found in https://yanqval.github.io/PAE/