Der Heap: Ein kontaminationsfreier mehrsprachiger Code-Datensatz zur Bewertung großer Sprachmodelle

The Heap: A Contamination-Free Multilingual Code Dataset for Evaluating Large Language Models

January 16, 2025

Autoren: Jonathan Katzy, Razvan Mihai Popescu, Arie van Deursen, Maliheh Izadi

cs.AI

Zusammenfassung

Der kürzliche Anstieg der Popularität großer Sprachmodelle hat die Entwicklung umfangreicher Code-Datensätze vorangetrieben, die benötigt werden, um sie zu trainieren. Dies hat nur begrenzten Code für die Sammlung und Verwendung bei der nachgelagerten Untersuchung spezifischer Verhaltensweisen oder der Bewertung großer Sprachmodelle hinterlassen, ohne unter Datenkontamination zu leiden. Um dieses Problem zu lösen, veröffentlichen wir "The Heap", einen großen mehrsprachigen Datensatz, der 57 Programmiersprachen abdeckt und hinsichtlich anderer offener Code-Datensätze dedupliziert wurde. Dies ermöglicht es Forschern, faire Bewertungen großer Sprachmodelle ohne signifikanten Aufwand für die Datenbereinigung durchzuführen.

English

The recent rise in the popularity of large language models has spurred the development of extensive code datasets needed to train them. This has left limited code available for collection and use in the downstream investigation of specific behaviors, or evaluation of large language models without suffering from data contamination. To address this problem, we release The Heap, a large multilingual dataset covering 57 programming languages that has been deduplicated with respect to other open datasets of code, enabling researchers to conduct fair evaluations of large language models without significant data cleaning overhead.