Addestramento di Agenti e Verificatori di Ingegneria del Software con SWE-Gym

Training Software Engineering Agents and Verifiers with SWE-Gym

December 30, 2024

Autori: Jiayi Pan, Xingyao Wang, Graham Neubig, Navdeep Jaitly, Heng Ji, Alane Suhr, Yizhe Zhang

cs.AI

Abstract

Presentiamo SWE-Gym, il primo ambiente per addestrare agenti di ingegneria del software (SWE) del mondo reale. SWE-Gym contiene 2.438 istanze di compiti Python del mondo reale, ognuna composta da una base di codice con un ambiente di esecuzione eseguibile, test di unità e un compito specificato in linguaggio naturale. Utilizziamo SWE-Gym per addestrare agenti SWE basati su modelli linguistici, ottenendo fino al 19% di guadagni assoluti nella percentuale di risoluzione sui popolari set di test SWE-Bench Verified e Lite. Sperimentiamo anche con la scalabilità al momento dell'inferenza attraverso verificatori addestrati su traiettorie degli agenti campionate da SWE-Gym. Quando combinato con i nostri agenti SWE ottimizzati, otteniamo il 32,0% e il 26,0% su SWE-Bench Verified e Lite, rispettivamente, riflettendo un nuovo stato dell'arte per agenti SWE open-weight. Per facilitare ulteriori ricerche, rilasciamo pubblicamente SWE-Gym, modelli e traiettorie degli agenti.

English

We present SWE-Gym, the first environment for training real-world software engineering (SWE) agents. SWE-Gym contains 2,438 real-world Python task instances, each comprising a codebase with an executable runtime environment, unit tests, and a task specified in natural language. We use SWE-Gym to train language model based SWE agents , achieving up to 19% absolute gains in resolve rate on the popular SWE-Bench Verified and Lite test sets. We also experiment with inference-time scaling through verifiers trained on agent trajectories sampled from SWE-Gym. When combined with our fine-tuned SWE agents, we achieve 32.0% and 26.0% on SWE-Bench Verified and Lite, respectively, reflecting a new state-of-the-art for open-weight SWE agents. To facilitate further research, we publicly release SWE-Gym, models, and agent trajectories.