AntiLeak-Bench: 最新の現実世界の知識を用いて自動的に構築されたベンチマークによってデータ汚染を防止する

AntiLeak-Bench: Preventing Data Contamination by Automatically Constructing Benchmarks with Updated Real-World Knowledge

December 18, 2024

著者: Xiaobao Wu, Liangming Pan, Yuxi Xie, Ruiwen Zhou, Shuai Zhao, Yubo Ma, Mingzhe Du, Rui Mao, Anh Tuan Luu, William Yang Wang

cs.AI

要旨

データの汚染は、新しいモデルのトレーニングセットにテストデータを導入することで、公平なLLMの評価を妨げます。既存の研究は、新たに収集されたデータでベンチマークを更新することでこの課題を解決しています。しかし、新たに収集されたデータには事前に存在する知識が含まれている可能性があり、そのベンチマークの更新には人間の労力が必要です。これらの問題に対処するため、本論文では、自動化されたアンチリークベンチマークフレームワークであるAntiLeak-Benchを提案します。単に新たに収集されたデータを使用するのではなく、LLMのトレーニングセットに明示的に新しい知識が欠如しているサンプルを構築することで、厳密に汚染フリーな評価を確実にします。さらに、人間の労力を必要とせずにベンチマークを構築および更新するための完全自動化されたワークフローを設計します。これにより、新興のLLMに対応するためのベンチマークのメンテナンスコストが大幅に削減されます。広範な実験を通じて、データの汚染がLLMのカットオフ時点よりも前に存在する可能性が高いことを強調し、AntiLeak-Benchがこの課題を効果的に克服することを示します。

English

Data contamination hinders fair LLM evaluation by introducing test data into newer models' training sets. Existing studies solve this challenge by updating benchmarks with newly collected data. However, they fail to guarantee contamination-free evaluation as the newly collected data may contain pre-existing knowledge, and their benchmark updates rely on intensive human labor. To address these issues, we in this paper propose AntiLeak-Bench, an automated anti-leakage benchmarking framework. Instead of simply using newly collected data, we construct samples with explicitly new knowledge absent from LLMs' training sets, which thus ensures strictly contamination-free evaluation. We further design a fully automated workflow to build and update our benchmark without human labor. This significantly reduces the cost of benchmark maintenance to accommodate emerging LLMs. Through extensive experiments, we highlight that data contamination likely exists before LLMs' cutoff time and demonstrate AntiLeak-Bench effectively overcomes this challenge.