De Opkomst van GUI Agent: Een Voorlopige Casestudy met de Claude 3.5 Computer Gebruik

The Dawn of GUI Agent: A Preliminary Case Study with Claude 3.5 Computer Use

November 15, 2024

Auteurs: Siyuan Hu, Mingyu Ouyang, Difei Gao, Mike Zheng Shou

cs.AI

Samenvatting

Het recent uitgebrachte model, Claude 3.5 Computergebruik, valt op als het eerste AI-model aan de voorhoede dat computergebruik in de publieke bèta aanbiedt als een grafische gebruikersinterface (GUI)-agent. Als een vroege bèta blijft de capaciteit ervan in de complexe werkelijke omgeving onbekend. In deze casestudy om Claude 3.5 Computergebruik te verkennen, cureren en organiseren we een verzameling zorgvuldig ontworpen taken die verschillende domeinen en software bestrijken. Observaties uit deze gevallen tonen de ongekende mogelijkheid van Claude 3.5 Computergebruik in taal-tot-desktopacties. Samen met deze studie bieden we een out-of-the-box agentframework voor het implementeren van op API gebaseerde GUI-automatiseringsmodellen met eenvoudige implementatie. Onze casestudies beogen een basis te tonen van de mogelijkheden en beperkingen van Claude 3.5 Computergebruik met gedetailleerde analyses en brengen vragen over planning, actie en kritiek naar voren, die moeten worden overwogen voor toekomstige verbeteringen. We hopen dat deze voorlopige verkenning toekomstig onderzoek zal inspireren binnen de GUI-agentgemeenschap. Alle testgevallen in het artikel kunnen worden uitgeprobeerd via het project: https://github.com/showlab/computer_use_ootb.

English

The recently released model, Claude 3.5 Computer Use, stands out as the first frontier AI model to offer computer use in public beta as a graphical user interface (GUI) agent. As an early beta, its capability in the real-world complex environment remains unknown. In this case study to explore Claude 3.5 Computer Use, we curate and organize a collection of carefully designed tasks spanning a variety of domains and software. Observations from these cases demonstrate Claude 3.5 Computer Use's unprecedented ability in end-to-end language to desktop actions. Along with this study, we provide an out-of-the-box agent framework for deploying API-based GUI automation models with easy implementation. Our case studies aim to showcase a groundwork of capabilities and limitations of Claude 3.5 Computer Use with detailed analyses and bring to the fore questions about planning, action, and critic, which must be considered for future improvement. We hope this preliminary exploration will inspire future research into the GUI agent community. All the test cases in the paper can be tried through the project: https://github.com/showlab/computer_use_ootb.