Gli LLM sono migliori di quanto riportato? Rilevare errori di etichettatura e mitigare il loro effetto sulle prestazioni del modello.

Are LLMs Better than Reported? Detecting Label Errors and Mitigating Their Effect on Model Performance

October 24, 2024

Autori: Omer Nahum, Nitay Calderon, Orgad Keller, Idan Szpektor, Roi Reichart

cs.AI

Abstract

I benchmark di NLP si basano su set di dati standardizzati per addestrare e valutare modelli, e sono cruciali per far progredire il campo. Tradizionalmente, le annotazioni degli esperti garantiscono etichette di alta qualità; tuttavia, il costo delle annotazioni degli esperti non scala bene con la crescente domanda di set di dati più grandi richiesti dai modelli moderni. Sebbene il crowd-sourcing fornisca una soluzione più scalabile, spesso avviene a spese della precisione e della coerenza delle annotazioni. Gli avanzamenti recenti nei grandi modelli linguistici (LLM) offrono nuove opportunità per potenziare il processo di annotazione, in particolare per rilevare errori di etichettatura nei set di dati esistenti. In questo lavoro, consideriamo l'approccio recente di LLM-come-giudice, sfruttando un insieme di LLM per individuare potenzialmente esempi mal etichettati. Attraverso uno studio di caso di quattro set di dati del benchmark TRUE, che coprono diverse attività e domini, analizziamo empiricamente la qualità dell'etichettatura dei set di dati esistenti e confrontiamo le annotazioni degli esperti, del crowd-sourcing e basate sui nostri LLM in termini di accordo, qualità dell'etichetta ed efficienza, dimostrando i punti di forza e le limitazioni di ciascun metodo di annotazione. Le nostre conclusioni rivelano un numero sostanziale di errori di etichettatura, che, una volta corretti, provocano un significativo miglioramento delle prestazioni del modello riportate. Ciò suggerisce che molti degli errori così detti dei LLM sono dovuti a errori di etichettatura piuttosto che a veri fallimenti del modello. Inoltre, discutiamo le implicazioni dei dati mal etichettati e proponiamo metodi per mitigarli nell'addestramento al fine di migliorare le prestazioni del modello.

English

NLP benchmarks rely on standardized datasets for training and evaluating models and are crucial for advancing the field. Traditionally, expert annotations ensure high-quality labels; however, the cost of expert annotation does not scale well with the growing demand for larger datasets required by modern models. While crowd-sourcing provides a more scalable solution, it often comes at the expense of annotation precision and consistency. Recent advancements in large language models (LLMs) offer new opportunities to enhance the annotation process, particularly for detecting label errors in existing datasets. In this work, we consider the recent approach of LLM-as-a-judge, leveraging an ensemble of LLMs to flag potentially mislabeled examples. Through a case study of four datasets from the TRUE benchmark, covering different tasks and domains, we empirically analyze the labeling quality of existing datasets, and compare expert, crowd-sourced, and our LLM-based annotations in terms of agreement, label quality, and efficiency, demonstrating the strengths and limitations of each annotation method. Our findings reveal a substantial number of label errors, which, when corrected, induce a significant upward shift in reported model performance. This suggests that many of the LLMs so-called mistakes are due to label errors rather than genuine model failures. Additionally, we discuss the implications of mislabeled data and propose methods to mitigate them in training to improve model performance.