Valutazione e Allineamento dei CodeLLM sulle Preferenze Umane

Evaluating and Aligning CodeLLMs on Human Preference

December 6, 2024

Autori: Jian Yang, Jiaxi Yang, Ke Jin, Yibo Miao, Lei Zhang, Liqun Yang, Zeyu Cui, Yichang Zhang, Binyuan Hui, Junyang Lin

cs.AI

Abstract

I grandi modelli linguistici per il codice (codeLLMs) hanno compiuto progressi significativi nella generazione di codice. La maggior parte dei benchmark precedenti relativi al codice, che consistono in vari esercizi di programmazione insieme ai casi di test corrispondenti, vengono utilizzati come misura comune per valutare le prestazioni e le capacità dei code LLMs. Tuttavia, i attuali code LLMs si concentrano sulla sintesi del frammento di codice corretto, ignorando l'allineamento con le preferenze umane, dove la query dovrebbe essere campionata dagli scenari di applicazione pratici e le risposte generate dal modello dovrebbero soddisfare le preferenze umane. Per colmare il divario tra la risposta generata dal modello e le preferenze umane, presentiamo un rigoroso benchmark curato dall'umanità, CodeArena, per emulare la complessità e la diversità dei compiti di codifica del mondo reale, dove sono presenti 397 campioni di alta qualità che coprono 40 categorie e 44 linguaggi di programmazione, accuratamente selezionati dalle query degli utenti. Inoltre, proponiamo un corpus di istruzioni sintetiche diverse, SynCode-Instruct (quasi 20 miliardi di token), scalando le istruzioni dal sito web per verificare l'efficacia del raffinamento delle istruzioni sintetiche su larga scala, dove Qwen2.5-SynCoder completamente addestrato sui dati di istruzioni sintetiche può raggiungere prestazioni di alto livello dei code LLMs open-source. I risultati evidenziano differenze di prestazioni tra i benchmark basati sull'esecuzione e CodeArena. I nostri esperimenti sistematici su CodeArena su oltre 40 LLMs rivelano un notevole divario di prestazioni tra i code LLMs open-source all'avanguardia (ad es. Qwen2.5-Coder) e i code LLMs proprietari (ad es., OpenAI o1), sottolineando l'importanza dell'allineamento con le preferenze umane.

English

Code large language models (codeLLMs) have made significant strides in code generation. Most previous code-related benchmarks, which consist of various programming exercises along with the corresponding test cases, are used as a common measure to evaluate the performance and capabilities of code LLMs. However, the current code LLMs focus on synthesizing the correct code snippet, ignoring the alignment with human preferences, where the query should be sampled from the practical application scenarios and the model-generated responses should satisfy the human preference. To bridge the gap between the model-generated response and human preference, we present a rigorous human-curated benchmark CodeArena to emulate the complexity and diversity of real-world coding tasks, where 397 high-quality samples spanning 40 categories and 44 programming languages, carefully curated from user queries. Further, we propose a diverse synthetic instruction corpus SynCode-Instruct (nearly 20B tokens) by scaling instructions from the website to verify the effectiveness of the large-scale synthetic instruction fine-tuning, where Qwen2.5-SynCoder totally trained on synthetic instruction data can achieve top-tier performance of open-source code LLMs. The results find performance differences between execution-based benchmarks and CodeArena. Our systematic experiments of CodeArena on 40+ LLMs reveal a notable performance gap between open SOTA code LLMs (e.g. Qwen2.5-Coder) and proprietary LLMs (e.g., OpenAI o1), underscoring the importance of the human preference alignment.\url{https://codearenaeval.github.io/ }