CowPilot: 자율적 및 인간-에이전트 협업 웹 탐색을 위한 프레임워크

CowPilot: A Framework for Autonomous and Human-Agent Collaborative Web Navigation

January 28, 2025

저자: Faria Huq, Zora Zhiruo Wang, Frank F. Xu, Tianyue Ou, Shuyan Zhou, Jeffrey P. Bigham, Graham Neubig

cs.AI

초록

웹 에이전트에 대한 많은 연구는 사용자를 대신하여 자율적으로 작업을 수행하는 약속을 강조하지만, 실제로는 에이전트가 실제 세계 상황에서 복잡한 작업과 사용자 선호도 모델링에서 종종 한계에 부딪힙니다. 이는 인간이 에이전트와 협력하여 에이전트의 능력을 효과적으로 활용할 수 있는 기회를 제공합니다. 우리는 CowPilot이라는 프레임워크를 제안합니다. 이 프레임워크는 자율적 및 인간-에이전트 협력 웹 탐색을 지원하며 작업 성공 및 작업 효율성에 걸쳐 평가합니다. CowPilot은 에이전트가 다음 단계를 제안할 수 있도록하여 인간이 수행해야 하는 단계 수를 줄이고, 사용자가 일시 중지하거나 거부하거나 대안적 조치를 취할 수 있도록 합니다. 실행 중에 사용자는 제안을 무시하거나 필요할 때 에이전트 제어를 재개함으로써 에이전트와의 작업을 교차할 수 있습니다. 우리는 다섯 개의 일반적인 웹사이트에 대한 사례 연구를 수행했으며, 인간-에이전트 협력 모드가 총 단계 중 15.2%만 인간이 수행하면서 95%의 최고 성공률을 달성한다는 결과를 발견했습니다. 작업 실행 중에 인간 개입이 있더라도, 에이전트는 작업의 최대 절반까지 성공적으로 이끌어낼 수 있습니다. CowPilot은 웹사이트 전반에서 데이터 수집 및 에이전트 평가에 유용한 도구로 기능할 수 있으며, 사용자와 에이전트가 어떻게 협력할 수 있는지에 대한 연구를 가능하게 할 것으로 믿습니다. 비디오 데모는 https://oaishi.github.io/cowpilot.html에서 확인할 수 있습니다.

English

While much work on web agents emphasizes the promise of autonomously performing tasks on behalf of users, in reality, agents often fall short on complex tasks in real-world contexts and modeling user preference. This presents an opportunity for humans to collaborate with the agent and leverage the agent's capabilities effectively. We propose CowPilot, a framework supporting autonomous as well as human-agent collaborative web navigation, and evaluation across task success and task efficiency. CowPilot reduces the number of steps humans need to perform by allowing agents to propose next steps, while users are able to pause, reject, or take alternative actions. During execution, users can interleave their actions with the agent by overriding suggestions or resuming agent control when needed. We conducted case studies on five common websites and found that the human-agent collaborative mode achieves the highest success rate of 95% while requiring humans to perform only 15.2% of the total steps. Even with human interventions during task execution, the agent successfully drives up to half of task success on its own. CowPilot can serve as a useful tool for data collection and agent evaluation across websites, which we believe will enable research in how users and agents can work together. Video demonstrations are available at https://oaishi.github.io/cowpilot.html