Verbale Prozessüberwachung fördert bessere Programmieragenten

Verbal Process Supervision Elicits Better Coding Agents

March 24, 2025

Autoren: Hao-Yuan Chen, Cheng-Pong Huang, Jui-Ming Yao

cs.AI

Zusammenfassung

Das Aufkommen großer Sprachmodelle und ihre Anwendungen als KI-Agenten haben die State-of-the-Art-Benchmarks für die Codegenerierung erheblich vorangetrieben und moderne Softwareentwicklungsaufgaben transformiert. Allerdings kämpfen diese Systeme selbst mit testzeitbasierten Reasoning-Modellen weiterhin mit komplexen Herausforderungen in der Softwareentwicklung. Diese Arbeit stellt CURA vor, ein System für Codeverständnis und Reasoning, das durch verbale Prozessüberwachung (VPS) erweitert wurde und eine Verbesserung von 3,65 % gegenüber Baseline-Modellen auf anspruchsvollen Benchmarks wie BigCodeBench erzielt. Darüber hinaus erreicht CURA in Kombination mit dem o3-mini-Modell und VPS-Techniken State-of-the-Art-Leistung. Diese Arbeit markiert einen Fortschritt bei der Integration von Reasoning-getriebenen Architekturen mit LLM-basierter Codegenerierung und ermöglicht agentenbasiertes Reasoning für Sprachmodelle zur Lösung komplexer Softwareentwicklungsaufgaben.

English

The emergence of large language models and their applications as AI agents have significantly advanced state-of-the-art code generation benchmarks, transforming modern software engineering tasks. However, even with test-time computed reasoning models, these systems still struggle with complex software engineering challenges. This work introduces CURA, a code understanding and reasoning agent system enhanced with verbal process supervision (VPS), achieving a 3.65\% improvement over baseline models on challenging benchmarks like BigCodeBench. Furthermore, CURA, when paired with the o3-mini model and VPS techniques, attains state-of-the-art performance. This work represents a step forward in integrating reasoning-driven architectures with LLM-based code generation, enabling agentic reasoning for language models to solve complex software engineering tasks.