ヒープ：大規模言語モデルの評価のための無汚染多言語コードデータセット

The Heap: A Contamination-Free Multilingual Code Dataset for Evaluating Large Language Models

January 16, 2025

著者: Jonathan Katzy, Razvan Mihai Popescu, Arie van Deursen, Maliheh Izadi

cs.AI

要旨

最近、大規模言語モデルの人気が高まっており、それに伴い、それらを訓練するために必要な大規模なコードデータセットの開発が進んでいます。これにより、特定の振る舞いの調査や大規模言語モデルの評価を行う際にデータの混入を避けるためのコードが限られてしまいました。この問題に対処するために、57のプログラミング言語をカバーする大規模な多言語データセットである「The Heap」を公開します。このデータセットは、他のオープンデータセットとの重複を排除しており、研究者が大規模言語モデルの公平な評価を行う際に、大幅なデータクリーニングの手間をかけることなく利用できます。

English

The recent rise in the popularity of large language models has spurred the development of extensive code datasets needed to train them. This has left limited code available for collection and use in the downstream investigation of specific behaviors, or evaluation of large language models without suffering from data contamination. To address this problem, we release The Heap, a large multilingual dataset covering 57 programming languages that has been deduplicated with respect to other open datasets of code, enabling researchers to conduct fair evaluations of large language models without significant data cleaning overhead.