API-Agenten vs. GUI-Agenten: Divergenz und Konvergenz

API Agents vs. GUI Agents: Divergence and Convergence

March 14, 2025

Autoren: Chaoyun Zhang, Shilin He, Liqun Li, Si Qin, Yu Kang, Qingwei Lin, Dongmei Zhang

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben sich über die einfache Texterzeugung hinaus weiterentwickelt und ermöglichen nun Software-Agenten, die natürliche Sprachbefehle direkt in konkrete Aktionen umsetzen. Während API-basierte LLM-Agenten zunächst aufgrund ihrer robusten Automatisierungsfähigkeiten und nahtlosen Integration mit programmatischen Endpunkten an Bedeutung gewannen, haben jüngste Fortschritte in der multimodalen LLM-Forschung GUI-basierte LLM-Agenten ermöglicht, die auf menschenähnliche Weise mit grafischen Benutzeroberflächen interagieren. Obwohl diese beiden Paradigmen das gemeinsame Ziel verfolgen, LLM-gestützte Aufgabenautomatisierung zu ermöglichen, unterscheiden sie sich erheblich in Bezug auf architektonische Komplexität, Entwicklungsabläufe und Benutzerinteraktionsmodelle. Dieses Papier präsentiert die erste umfassende Vergleichsstudie zwischen API-basierten und GUI-basierten LLM-Agenten, in der systematisch ihre Unterschiede und potenzielle Konvergenz analysiert werden. Wir untersuchen zentrale Dimensionen und beleuchten Szenarien, in denen hybride Ansätze ihre komplementären Stärken nutzen können. Durch die Vorschläge klarer Entscheidungskriterien und die Veranschaulichung praktischer Anwendungsfälle möchten wir Praktiker und Forscher dabei unterstützen, zwischen diesen Paradigmen zu wählen, sie zu kombinieren oder den Übergang zwischen ihnen zu vollziehen. Letztlich deuten wir an, dass fortlaufende Innovationen in der LLM-basierten Automatisierung die Grenzen zwischen API- und GUI-gesteuerten Agenten verwischen werden, was den Weg für flexiblere, anpassungsfähigere Lösungen in einer Vielzahl von realen Anwendungen ebnet.

English

Large language models (LLMs) have evolved beyond simple text generation to power software agents that directly translate natural language commands into tangible actions. While API-based LLM agents initially rose to prominence for their robust automation capabilities and seamless integration with programmatic endpoints, recent progress in multimodal LLM research has enabled GUI-based LLM agents that interact with graphical user interfaces in a human-like manner. Although these two paradigms share the goal of enabling LLM-driven task automation, they diverge significantly in architectural complexity, development workflows, and user interaction models. This paper presents the first comprehensive comparative study of API-based and GUI-based LLM agents, systematically analyzing their divergence and potential convergence. We examine key dimensions and highlight scenarios in which hybrid approaches can harness their complementary strengths. By proposing clear decision criteria and illustrating practical use cases, we aim to guide practitioners and researchers in selecting, combining, or transitioning between these paradigms. Ultimately, we indicate that continuing innovations in LLM-based automation are poised to blur the lines between API- and GUI-driven agents, paving the way for more flexible, adaptive solutions in a wide range of real-world applications.