CodeElo: 人間に匹敵するEloレーティングを用いたLLMの競技レベルのコード生成のベンチマーク化

CodeElo: Benchmarking Competition-level Code Generation of LLMs with Human-comparable Elo Ratings

January 2, 2025

著者: Shanghaoran Quan, Jiaxi Yang, Bowen Yu, Bo Zheng, Dayiheng Liu, An Yang, Xuancheng Ren, Bofei Gao, Yibo Miao, Yunlong Feng, Zekun Wang, Jian Yang, Zeyu Cui, Yang Fan, Yichang Zhang, Binyuan Hui, Junyang Lin

cs.AI

要旨

既存の大規模言語モデル（LLM）のコード推論能力の向上やOpenAI o1およびo3のような推論モデルのブレークスルーにより、彼らの高度な競技レベルのコーディング能力を効果的にテストするより困難で包括的なベンチマークを開発する必要性が高まっています。LiveCodeBenchやUSACOなどの既存のベンチマークは、非公開のテストケースが利用できないこと、特別なジャッジのサポートが不足していること、および実行環境が整合していないことから、不十分である。このギャップを埋めるために、私たちはCodeEloを導入しました。これは、初めてこれらの課題に効果的に対処する標準化された競技レベルのコード生成ベンチマークです。CodeEloベンチマークは、主に公式のCodeForcesプラットフォームに基づいており、プラットフォームとできるだけ整合するようにしています。CodeForcesの直近6ヶ月間のコンテスト問題を、コンテストの部門、問題の難易度評価、問題のアルゴリズムタグなどの詳細な情報とともに収集しました。問題はプラットフォームに直接提出され、プラットフォームと整合し、人間の参加者と比較可能でありながら分散が低い信頼性のあるEloレーティング計算システムを開発しました。CodeEloでのテストにより、30の既存の人気オープンソースLLMと3つのプロプライエタリLLMのEloレーティングを初めて提供します。その結果、o1-miniとQwQ-32B-Previewが著しく優れており、それぞれ1578と1261のEloレーティングを達成している一方、他のモデルは最も簡単な問題でも苦戦し、すべての人間参加者の最下位20％に位置しています。C++とPythonの使用を比較することで、アルゴリズム全体のパフォーマンスや将来の研究の方向性を示唆する、詳細な分析実験も実施されています。

English

With the increasing code reasoning capabilities of existing large language models (LLMs) and breakthroughs in reasoning models like OpenAI o1 and o3, there is a growing need to develop more challenging and comprehensive benchmarks that effectively test their sophisticated competition-level coding abilities. Existing benchmarks, like LiveCodeBench and USACO, fall short due to the unavailability of private test cases, lack of support for special judges, and misaligned execution environments. To bridge this gap, we introduce CodeElo, a standardized competition-level code generation benchmark that effectively addresses all these challenges for the first time. CodeElo benchmark is mainly based on the official CodeForces platform and tries to align with the platform as much as possible. We compile the recent six months of contest problems on CodeForces with detailed information such as contest divisions, problem difficulty ratings, and problem algorithm tags. We introduce a unique judging method in which problems are submitted directly to the platform and develop a reliable Elo rating calculation system that aligns with the platform and is comparable with human participants but has lower variance. By testing on our CodeElo, we provide the Elo ratings of 30 existing popular open-source and 3 proprietary LLMs for the first time. The results show that o1-mini and QwQ-32B-Preview stand out significantly, achieving Elo ratings of 1578 and 1261, respectively, while other models struggle even with the easiest problems, placing in the lowest 20 percent among all human participants. Detailed analysis experiments are also conducted to provide insights into performance across algorithms and comparisons between using C++ and Python, which can suggest directions for future studies.