Il Heap: un insieme di codice multilingue privo di contaminazioni per valutare i grandi modelli linguistici.

The Heap: A Contamination-Free Multilingual Code Dataset for Evaluating Large Language Models

January 16, 2025

Autori: Jonathan Katzy, Razvan Mihai Popescu, Arie van Deursen, Maliheh Izadi

cs.AI

Abstract

L'aumento recente della popolarità dei grandi modelli linguistici ha stimolato lo sviluppo di ampi set di dati di codice necessari per addestrarli. Ciò ha lasciato un codice limitato disponibile per la raccolta e l'uso nella successiva indagine di comportamenti specifici, o valutazione di grandi modelli linguistici senza subire contaminazioni dei dati. Per affrontare questo problema, rilasciamo The Heap, un ampio dataset multilingue che copre 57 linguaggi di programmazione ed è stato deduplicato rispetto ad altri dataset aperti di codice, consentendo ai ricercatori di condurre valutazioni imparziali di grandi modelli linguistici senza un'elevata pulizia dei dati.

English

The recent rise in the popularity of large language models has spurred the development of extensive code datasets needed to train them. This has left limited code available for collection and use in the downstream investigation of specific behaviors, or evaluation of large language models without suffering from data contamination. To address this problem, we release The Heap, a large multilingual dataset covering 57 programming languages that has been deduplicated with respect to other open datasets of code, enabling researchers to conduct fair evaluations of large language models without significant data cleaning overhead.