CodeElo: 인간 수준의 Elo 평가를 통해 LLM의 대회 수준 코드 생성 능력을 벤치마킹하기

초록

기존 대형 언어 모델(Large Language Models, LLMs)의 증가하는 코드 추론 능력과 OpenAI o1 및 o3과 같은 추론 모델의 획기적인 발전으로, 그들의 정교한 경쟁 수준 코딩 능력을 효과적으로 시험하는 더 도전적이고 포괄적인 벤치마크를 개발할 필요가 커지고 있습니다. LiveCodeBench와 USACO와 같은 기존 벤치마크는 사적 테스트 케이스의 부재, 특별한 심사관을 지원하지 않는 문제, 그리고 일치하지 않는 실행 환경으로 인해 부족함이 있습니다. 이 간극을 메우기 위해, 우리는 처음으로 이러한 모든 도전에 효과적으로 대응하는 표준 경쟁 수준 코드 생성 벤치마크인 CodeElo를 소개합니다. CodeElo 벤치마크는 주로 공식 CodeForces 플랫폼을 기반으로 하며 가능한 한 그 플랫폼과 일치하도록 노력합니다. 우리는 CodeForces에서 최근 6개월간의 대회 문제들을 공식 CodeForces 플랫폼과 가능한 한 일치하도록 대회 부문, 문제 난이도 등에 대한 자세한 정보와 함께 컴파일합니다. 우리는 문제를 플랫폼에 직접 제출하고 플랫폼과 일치하며 인간 참가자와 비교 가능하지만 분산이 낮은 신뢰할 수 있는 Elo 등급 계산 시스템을 개발하는 독특한 심사 방법을 소개합니다. CodeElo에서 테스트하여, 30개의 기존 인기 있는 오픈 소스 LLMs와 3개의 소유 LLMs의 Elo 등급을 처음으로 제공합니다. 결과는 o1-mini와 QwQ-32B-Preview가 현저히 두드러지며 각각 1578과 1261의 Elo 등급을 달성하는 것을 보여주며, 다른 모델들은 심지어 가장 쉬운 문제에도 어려움을 겪어 모든 인간 참가자 중 최하위 20%에 위치합니다. C++ 및 Python 사용에 따른 알고리즘 성능 및 비교에 대한 상세 분석 실험도 수행되어, 미래 연구 방향을 제안할 수 있습니다.

English

With the increasing code reasoning capabilities of existing large language models (LLMs) and breakthroughs in reasoning models like OpenAI o1 and o3, there is a growing need to develop more challenging and comprehensive benchmarks that effectively test their sophisticated competition-level coding abilities. Existing benchmarks, like LiveCodeBench and USACO, fall short due to the unavailability of private test cases, lack of support for special judges, and misaligned execution environments. To bridge this gap, we introduce CodeElo, a standardized competition-level code generation benchmark that effectively addresses all these challenges for the first time. CodeElo benchmark is mainly based on the official CodeForces platform and tries to align with the platform as much as possible. We compile the recent six months of contest problems on CodeForces with detailed information such as contest divisions, problem difficulty ratings, and problem algorithm tags. We introduce a unique judging method in which problems are submitted directly to the platform and develop a reliable Elo rating calculation system that aligns with the platform and is comparable with human participants but has lower variance. By testing on our CodeElo, we provide the Elo ratings of 30 existing popular open-source and 3 proprietary LLMs for the first time. The results show that o1-mini and QwQ-32B-Preview stand out significantly, achieving Elo ratings of 1578 and 1261, respectively, while other models struggle even with the easiest problems, placing in the lowest 20 percent among all human participants. Detailed analysis experiments are also conducted to provide insights into performance across algorithms and comparisons between using C++ and Python, which can suggest directions for future studies.

CodeElo: 인간 수준의 Elo 평가를 통해 LLM의 대회 수준 코드 생성 능력을 벤치마킹하기

CodeElo: Benchmarking Competition-level Code Generation of LLMs with Human-comparable Elo Ratings

초록

Summary

Support