STEVE: Eine schrittweise Verifizierungspipeline für das Training von Computer-Nutzungsagenten

STEVE: AStep Verification Pipeline for Computer-use Agent Training

March 16, 2025

Autoren: Fanbin Lu, Zhisheng Zhong, Ziqin Wei, Shu Liu, Chi-Wing Fu, Jiaya Jia

cs.AI

Zusammenfassung

Die Entwicklung von KI-Agenten zur autonomen Manipulation grafischer Benutzeroberflächen ist eine langwierige und herausfordernde Aufgabe. Jüngste Fortschritte in den Skalierungsgesetzen von Daten inspirieren uns dazu, Computer-Nutzungs-Agenten mit einem skalierten Befehlssatz zu trainieren. Dennoch erfordert das Training von Agenten durch Verhaltensklonung immense Mengen an hochwertigen Trajektorien. Um den Skalierungsbedarf zu decken, haben wir STEVE entworfen, eine Schritt-Verifikations-Pipeline für das Training von Computer-Nutzungs-Agenten. Zunächst erstellen wir einen umfangreichen Befehlssatz für Computer-Nutzungs-Agenten und sammeln Trajektorien-Daten mit einigen suboptimalen Agenten. GPT-4o wird verwendet, um die Korrektheit jedes Schritts in den Trajektorien basierend auf den Bildschirmen vor und nach der Ausführung der Aktion zu überprüfen und jedem Schritt ein binäres Label zuzuweisen. Schließlich wenden wir die Kahneman- und Tversky-Optimierung an, um den Agenten anhand der binären schrittweisen Labels zu optimieren. Umfangreiche Experimente zeigen, dass unser Agent durch die Nutzung sowohl positiver als auch negativer Aktionen innerhalb einer Trajektorie das überwachte Feinabstimmen übertrifft. Zudem ermöglicht uns STEVE, ein 7B-Vision-Sprach-Modell als Computer-Nutzungs-Agent zu trainieren, das führende Leistungen in der anspruchsvollen Live-Desktop-Umgebung WinAgentArena bei großer Effizienz und reduzierten Kosten erzielt. Code und Daten: https://github.com/FanbinLu/STEVE.

English

Developing AI agents to autonomously manipulate graphical user interfaces is a long challenging task. Recent advances in data scaling law inspire us to train computer-use agents with a scaled instruction set, yet using behavior cloning to train agents still requires immense high-quality trajectories. To meet the scalability need, we designed STEVE, a step verification pipeline for computer-use agent training. First, we establish a large instruction set for computer-use agents and collect trajectory data with some suboptimal agents. GPT-4o is used to verify the correctness of each step in the trajectories based on the screens before and after the action execution, assigning each step with a binary label. Last, we adopt the Kahneman and Tversky Optimization to optimize the agent from the binary stepwise labels. Extensive experiments manifest that our agent outperforms supervised finetuning by leveraging both positive and negative actions within a trajectory. Also, STEVE enables us to train a 7B vision-language model as a computer-use agent, achieving leading performance in the challenging live desktop environment WinAgentArena with great efficiency at a reduced cost. Code and data: https://github.com/FanbinLu/STEVE.