CodeArena: Платформа для коллективной оценки генерации кода с использованием больших языковых моделей

CodeArena: A Collective Evaluation Platform for LLM Code Generation

March 3, 2025

Авторы: Mingzhe Du, Anh Tuan Luu, Bin Ji, Xiaobao Wu, Dong Huang, Terry Yue Zhuo, Qian Liu, See-Kiong Ng

cs.AI

Аннотация

Крупные языковые модели (LLM) трансформировали процесс генерации кода, объединив их выдающееся понимание естественного языка и синтаксиса программирования, что существенно повысило производительность разработчиков. Эти достижения стимулировали многочисленные усилия по количественной оценке их способностей в написании кода. Однако сохраняющиеся проблемы, такие как утечка данных в бенчмарках, рассеивание данных и ограниченная доступность систем, продолжают препятствовать своевременной и точной оценке. Для устранения этих ограничений мы представляем CodeArena — онлайн-фреймворк для оценки генерации кода LLM. Ключевым нововведением является коллективный механизм оценки, который динамически перекалибрует индивидуальные оценки моделей на основе общего результата всех участвующих моделей, смягчая смещения оценок, вызванные широко распространённой утечкой данных в бенчмарках. Кроме того, CodeArena обеспечивает открытый доступ ко всем представленным решениям и тестовым случаям, а также предоставляет API, удобные для автоматизации, чтобы упростить процесс оценки кода. Наши основные вклады: (1) коллективная система оценки для объективного анализа, (2) публичный репозиторий решений и тестовых случаев и (3) API, готовые к автоматизации, для бесшовной интеграции.

English

Large Language Models (LLMs) have reshaped code generation by synergizing their exceptional comprehension of natural language and programming syntax, thereby substantially boosting developer productivity. These advancements have prompted numerous efforts to quantitatively evaluate their coding capabilities. However, persistent challenges, such as benchmark leakage, data dissipation, and limited system accessibility, continue to impede a timely and accurate assessment. To address these limitations, we introduce CodeArena, an online evaluation framework tailored for LLM code generation. The key innovation is a collective evaluation mechanism, which dynamically recalibrates individual model scores based on the holistic performance of all participating models, mitigating score biases caused by widespread benchmark leakage. In addition, CodeArena ensures open access to all submitted solutions and test cases and provides automation-friendly APIs to streamline the code evaluation workflow. Our main contributions are: (1) a collective evaluation system for unbiased assessment, (2) a public repository of solutions and test cases, and (3) automation-ready APIs for seamless integration.