AntiLeak-Bench: Prevenire la Contaminazione dei Dati Costruendo Automaticamente Benchmark con Conoscenze Aggiornate del Mondo Reale

AntiLeak-Bench: Preventing Data Contamination by Automatically Constructing Benchmarks with Updated Real-World Knowledge

December 18, 2024

Autori: Xiaobao Wu, Liangming Pan, Yuxi Xie, Ruiwen Zhou, Shuai Zhao, Yubo Ma, Mingzhe Du, Rui Mao, Anh Tuan Luu, William Yang Wang

cs.AI

Abstract

La contaminazione dei dati ostacola una valutazione equa dei LLM introducendo dati di test nei set di addestramento dei modelli più recenti. Gli studi esistenti risolvono questa sfida aggiornando i benchmark con dati appena raccolti. Tuttavia, non riescono a garantire una valutazione priva di contaminazione poiché i dati appena raccolti potrebbero contenere conoscenze preesistenti e gli aggiornamenti dei benchmark dipendono da un'intensa attività umana. Per affrontare questi problemi, in questo articolo proponiamo AntiLeak-Bench, un framework automatizzato per il benchmarking anti-fuga. Invece di utilizzare semplicemente dati appena raccolti, costruiamo campioni con conoscenze esplicitamente nuove assenti nei set di addestramento dei LLM, garantendo così una valutazione rigorosamente priva di contaminazione. Progettiamo inoltre un flusso di lavoro completamente automatizzato per costruire e aggiornare il nostro benchmark senza l'intervento umano. Ciò riduce significativamente i costi di manutenzione del benchmark per adattarsi ai nuovi LLM emergenti. Attraverso ampi esperimenti, evidenziamo che la contaminazione dei dati probabilmente esiste prima del tempo limite dei LLM e dimostriamo che AntiLeak-Bench supera efficacemente questa sfida.

English

Data contamination hinders fair LLM evaluation by introducing test data into newer models' training sets. Existing studies solve this challenge by updating benchmarks with newly collected data. However, they fail to guarantee contamination-free evaluation as the newly collected data may contain pre-existing knowledge, and their benchmark updates rely on intensive human labor. To address these issues, we in this paper propose AntiLeak-Bench, an automated anti-leakage benchmarking framework. Instead of simply using newly collected data, we construct samples with explicitly new knowledge absent from LLMs' training sets, which thus ensures strictly contamination-free evaluation. We further design a fully automated workflow to build and update our benchmark without human labor. This significantly reduces the cost of benchmark maintenance to accommodate emerging LLMs. Through extensive experiments, we highlight that data contamination likely exists before LLMs' cutoff time and demonstrate AntiLeak-Bench effectively overcomes this challenge.