La Supervisione Verbale dei Processi Stimola Agenti di Codifica Più Efficaci

Verbal Process Supervision Elicits Better Coding Agents

March 24, 2025

Autori: Hao-Yuan Chen, Cheng-Pong Huang, Jui-Ming Yao

cs.AI

Abstract

L'emergenza di modelli linguistici di grandi dimensioni e delle loro applicazioni come agenti di intelligenza artificiale ha significativamente avanzato i benchmark di generazione del codice all'avanguardia, trasformando i compiti dell'ingegneria del software moderna. Tuttavia, anche con modelli di ragionamento calcolati in fase di test, questi sistemi continuano a lottare con le sfide complesse dell'ingegneria del software. Questo lavoro introduce CURA, un sistema agente di comprensione e ragionamento del codice potenziato con supervisione verbale del processo (VPS), ottenendo un miglioramento del 3,65% rispetto ai modelli di base su benchmark impegnativi come BigCodeBench. Inoltre, CURA, quando abbinato al modello o3-mini e alle tecniche VPS, raggiunge prestazioni all'avanguardia. Questo lavoro rappresenta un passo avanti nell'integrazione di architetture guidate dal ragionamento con la generazione di codice basata su LLM, consentendo il ragionamento agentico per i modelli linguistici per risolvere compiti complessi di ingegneria del software.

English

The emergence of large language models and their applications as AI agents have significantly advanced state-of-the-art code generation benchmarks, transforming modern software engineering tasks. However, even with test-time computed reasoning models, these systems still struggle with complex software engineering challenges. This work introduces CURA, a code understanding and reasoning agent system enhanced with verbal process supervision (VPS), achieving a 3.65\% improvement over baseline models on challenging benchmarks like BigCodeBench. Furthermore, CURA, when paired with the o3-mini model and VPS techniques, attains state-of-the-art performance. This work represents a step forward in integrating reasoning-driven architectures with LLM-based code generation, enabling agentic reasoning for language models to solve complex software engineering tasks.