Куча: набор кода на нескольких языках без загрязнений для оценки больших языковых моделей.

The Heap: A Contamination-Free Multilingual Code Dataset for Evaluating Large Language Models

January 16, 2025

Авторы: Jonathan Katzy, Razvan Mihai Popescu, Arie van Deursen, Maliheh Izadi

cs.AI

Аннотация

Недавнее увеличение популярности больших языковых моделей стимулировало разработку обширных наборов данных кода, необходимых для их обучения. Это привело к ограниченной доступности кода для сбора и использования в последующем исследовании конкретных поведенческих моделей или оценке больших языковых моделей без риска загрязнения данных. Для решения этой проблемы мы выпустили The Heap, большой многоязычный набор данных, охватывающий 57 языков программирования, который был дедуплицирован по отношению к другим открытым наборам данных кода, что позволяет исследователям проводить справедливые оценки больших языковых моделей без значительных затрат на очистку данных.

English

The recent rise in the popularity of large language models has spurred the development of extensive code datasets needed to train them. This has left limited code available for collection and use in the downstream investigation of specific behaviors, or evaluation of large language models without suffering from data contamination. To address this problem, we release The Heap, a large multilingual dataset covering 57 programming languages that has been deduplicated with respect to other open datasets of code, enabling researchers to conduct fair evaluations of large language models without significant data cleaning overhead.