AntiLeak-Bench: 최신 실세계 지식을 활용하여 자동으로 벤치마크를 구축하여 데이터 오염 방지

초록

데이터 오염은 테스트 데이터를 최신 모델의 훈련 세트로 도입함으로써 공정한 LLM 평가를 방해합니다. 기존 연구는 새로 수집된 데이터로 벤치마크를 업데이트함으로써 이 문제를 해결합니다. 그러나 새로 수집된 데이터에는 기존 지식이 포함될 수 있고, 그들의 벤치마크 업데이트는 인적 노동에 의존하기 때문에 오염이 없는 평가를 보장하지 못합니다. 본 논문에서는 이러한 문제를 해결하기 위해 자동 누설 방지 벤치마킹 프레임워크인 AntiLeak-Bench를 제안합니다. 단순히 새로 수집된 데이터를 사용하는 대신, LLM의 훈련 세트에 명시적으로 새로운 지식이 없는 샘플을 구성하여 엄격하게 오염이 없는 평가를 보장합니다. 또한 인적 노동 없이 벤치마크를 구축하고 업데이트하기 위한 완전 자동화된 워크플로우를 설계합니다. 이를 통해 신흥 LLM을 수용하기 위한 벤치마크 유지 비용을 크게 줄일 수 있습니다. 광범위한 실험을 통해 데이터 오염이 LLM의 차단 시간 이전에 이미 존재할 가능성이 높으며, AntiLeak-Bench가 이 문제를 효과적으로 극복하는 것을 보여줍니다.

English

Data contamination hinders fair LLM evaluation by introducing test data into newer models' training sets. Existing studies solve this challenge by updating benchmarks with newly collected data. However, they fail to guarantee contamination-free evaluation as the newly collected data may contain pre-existing knowledge, and their benchmark updates rely on intensive human labor. To address these issues, we in this paper propose AntiLeak-Bench, an automated anti-leakage benchmarking framework. Instead of simply using newly collected data, we construct samples with explicitly new knowledge absent from LLMs' training sets, which thus ensures strictly contamination-free evaluation. We further design a fully automated workflow to build and update our benchmark without human labor. This significantly reduces the cost of benchmark maintenance to accommodate emerging LLMs. Through extensive experiments, we highlight that data contamination likely exists before LLMs' cutoff time and demonstrate AntiLeak-Bench effectively overcomes this challenge.

AntiLeak-Bench: 최신 실세계 지식을 활용하여 자동으로 벤치마크를 구축하여 데이터 오염 방지

AntiLeak-Bench: Preventing Data Contamination by Automatically Constructing Benchmarks with Updated Real-World Knowledge

초록

Support