SWE-Gymを使用してソフトウェアエンジニアリングエージェントと検証者をトレーニングする

Training Software Engineering Agents and Verifiers with SWE-Gym

December 30, 2024

著者: Jiayi Pan, Xingyao Wang, Graham Neubig, Navdeep Jaitly, Heng Ji, Alane Suhr, Yizhe Zhang

cs.AI

要旨

私たちは、実世界のソフトウェアエンジニアリング（SWE）エージェントを訓練するための初の環境であるSWE-Gymを提案します。SWE-Gymには、実行可能なランタイム環境、ユニットテスト、および自然言語で指定されたタスクを含む、2,438の実世界のPythonタスクインスタンスが含まれています。私たちは、SWE-Gymを使用して、言語モデルベースのSWEエージェントを訓練し、人気のあるSWE-Bench VerifiedおよびLiteテストセットで解決率について最大19%の絶対的な向上を達成しました。また、SWE-Gymからサンプリングされたエージェントの軌跡で訓練された検証者を介した推論時のスケーリングを実験しました。私たちの微調整されたSWEエージェントと組み合わせると、それぞれSWE-Bench VerifiedとLiteで32.0%および26.0%を達成し、オープンウェイトのSWEエージェントにおける新しい最先端を反映しています。さらなる研究を促進するために、私たちはSWE-Gym、モデル、およびエージェントの軌跡を公開します。

English

We present SWE-Gym, the first environment for training real-world software engineering (SWE) agents. SWE-Gym contains 2,438 real-world Python task instances, each comprising a codebase with an executable runtime environment, unit tests, and a task specified in natural language. We use SWE-Gym to train language model based SWE agents , achieving up to 19% absolute gains in resolve rate on the popular SWE-Bench Verified and Lite test sets. We also experiment with inference-time scaling through verifiers trained on agent trajectories sampled from SWE-Gym. When combined with our fine-tuned SWE agents, we achieve 32.0% and 26.0% on SWE-Bench Verified and Lite, respectively, reflecting a new state-of-the-art for open-weight SWE agents. To facilitate further research, we publicly release SWE-Gym, models, and agent trajectories.