De Heap: Een Verontreinigingsvrije Meertalige Code Dataset voor het Evalueren van Grote Taalmodellen

The Heap: A Contamination-Free Multilingual Code Dataset for Evaluating Large Language Models

January 16, 2025

Auteurs: Jonathan Katzy, Razvan Mihai Popescu, Arie van Deursen, Maliheh Izadi

cs.AI

Samenvatting

De recente toename in de populariteit van grote taalmodellen heeft de ontwikkeling van uitgebreide code datasets gestimuleerd die nodig zijn om ze te trainen. Dit heeft slechts beperkte code beschikbaar gelaten voor verzameling en gebruik in het downstream onderzoek naar specifieke gedragingen, of de evaluatie van grote taalmodellen zonder last te hebben van gegevensverontreiniging. Om dit probleem aan te pakken, brengen we The Heap uit, een grote meertalige dataset die 57 programmeertalen bestrijkt en die is gedupliceerd met betrekking tot andere open datasets van code, waardoor onderzoekers eerlijke evaluaties van grote taalmodellen kunnen uitvoeren zonder aanzienlijke overhead voor gegevensreiniging.

English

The recent rise in the popularity of large language models has spurred the development of extensive code datasets needed to train them. This has left limited code available for collection and use in the downstream investigation of specific behaviors, or evaluation of large language models without suffering from data contamination. To address this problem, we release The Heap, a large multilingual dataset covering 57 programming languages that has been deduplicated with respect to other open datasets of code, enabling researchers to conduct fair evaluations of large language models without significant data cleaning overhead.