O Heap: Um Conjunto de Dados de Código Multilíngue Livre de Contaminação para Avaliar Modelos de Linguagem Grandes

The Heap: A Contamination-Free Multilingual Code Dataset for Evaluating Large Language Models

January 16, 2025

Autores: Jonathan Katzy, Razvan Mihai Popescu, Arie van Deursen, Maliheh Izadi

cs.AI

Resumo

O recente aumento na popularidade de grandes modelos de linguagem tem impulsionado o desenvolvimento de extensos conjuntos de dados de código necessários para treiná-los. Isso tem deixado um código limitado disponível para coleta e uso na investigação subsequente de comportamentos específicos, ou avaliação de grandes modelos de linguagem sem sofrer contaminação de dados. Para resolver esse problema, lançamos The Heap, um grande conjunto de dados multilíngue que abrange 57 linguagens de programação e que foi deduplicado em relação a outros conjuntos de dados abertos de código, permitindo que os pesquisadores realizem avaliações justas de grandes modelos de linguagem sem uma sobrecarga significativa de limpeza de dados.

English

The recent rise in the popularity of large language models has spurred the development of extensive code datasets needed to train them. This has left limited code available for collection and use in the downstream investigation of specific behaviors, or evaluation of large language models without suffering from data contamination. To address this problem, we release The Heap, a large multilingual dataset covering 57 programming languages that has been deduplicated with respect to other open datasets of code, enabling researchers to conduct fair evaluations of large language models without significant data cleaning overhead.