o1-Coder: una replicazione o1 per la codifica

o1-Coder: an o1 Replication for Coding

November 29, 2024

Autori: Yuxiang Zhang, Shangxi Wu, Yuqi Yang, Jiangming Shu, Jinlin Xiao, Chao Kong, Jitao Sang

cs.AI

Abstract

Il rapporto tecnico introduce O1-CODER, un tentativo di replicare il modello o1 di OpenAI con un focus sui compiti di codifica. Integra l'apprendimento per rinforzo (RL) e la Ricerca ad Albero Monte Carlo (MCTS) per potenziare le capacità di pensiero del Sistema-2 del modello. Il framework include l'addestramento di un Generatore di Casi di Test (TCG) per testare il codice in modo standardizzato, utilizzando MCTS per generare dati di codice con processi di ragionamento, e perfezionando iterativamente il modello di policy per produrre inizialmente del pseudocodice, seguito dalla generazione del codice completo. Il rapporto affronta anche le opportunità e le sfide nel deployare modelli simili a o1 in applicazioni del mondo reale, suggerendo il passaggio al paradigma del Sistema-2 e sottolineando l'imperativo degli aggiornamenti dello stato dell'ambiente. I progressi del modello aggiornato e i risultati sperimentali saranno riportati nelle versioni successive. Tutto il codice sorgente, i dataset curati, così come i modelli derivati saranno resi pubblici su https://github.com/ADaM-BJTU/O1-CODER.

English

The technical report introduces O1-CODER, an attempt to replicate OpenAI's o1 model with a focus on coding tasks. It integrates reinforcement learning (RL) and Monte Carlo Tree Search (MCTS) to enhance the model's System-2 thinking capabilities. The framework includes training a Test Case Generator (TCG) for standardized code testing, using MCTS to generate code data with reasoning processes, and iteratively fine-tuning the policy model to initially produce pseudocode, followed by the generation of the full code. The report also addresses the opportunities and challenges in deploying o1-like models in real-world applications, suggesting transitioning to the System-2 paradigm and highlighting the imperative for environment state updates. Updated model progress and experimental results will be reported in subsequent versions. All source code, curated datasets, as well as the derived models will be disclosed at https://github.com/ADaM-BJTU/O1-CODER .