Zijn LLM's beter dan gerapporteerd? Het detecteren van labelfouten en het verminderen van hun effect op modelprestaties.

Are LLMs Better than Reported? Detecting Label Errors and Mitigating Their Effect on Model Performance

October 24, 2024

Auteurs: Omer Nahum, Nitay Calderon, Orgad Keller, Idan Szpektor, Roi Reichart

cs.AI

Samenvatting

NLP-benchmarks vertrouwen op gestandaardiseerde datasets voor het trainen en evalueren van modellen en zijn cruciaal voor de vooruitgang van het vakgebied. Traditioneel zorgen expertannotaties voor labels van hoge kwaliteit; echter, de kosten van expertannotatie schalen niet goed mee met de groeiende vraag naar grotere datasets die nodig zijn voor moderne modellen. Hoewel crowd-sourcing een meer schaalbare oplossing biedt, gaat dit vaak ten koste van de precisie en consistentie van de annotaties. Recente ontwikkelingen in grote taalmodellen (LLM's) bieden nieuwe mogelijkheden om het annotatieproces te verbeteren, met name voor het detecteren van labelfouten in bestaande datasets. In dit werk bekijken we de recente benadering van LLM-als-beoordelaar, waarbij een ensemble van LLM's wordt ingezet om potentieel verkeerd gelabelde voorbeelden aan te duiden. Via een casestudy van vier datasets van de TRUE benchmark, die verschillende taken en domeinen bestrijken, analyseren we empirisch de kwaliteit van de labeling van bestaande datasets, en vergelijken we expert-, crowd-sourced- en onze LLM-gebaseerde annotaties wat betreft overeenkomst, labelkwaliteit en efficiëntie, waarbij we de sterke en zwakke punten van elke annotatiemethode aantonen. Onze bevindingen onthullen een aanzienlijk aantal labelfouten, die, wanneer gecorrigeerd, een aanzienlijke verbetering in de gerapporteerde modelprestaties teweegbrengen. Dit suggereert dat veel van de zogenaamde fouten van de LLM's te wijten zijn aan labelfouten in plaats van echte modelmislukkingen. Daarnaast bespreken we de implicaties van verkeerd gelabelde gegevens en stellen we methoden voor om deze tijdens de training te verminderen om de modelprestaties te verbeteren.

English

NLP benchmarks rely on standardized datasets for training and evaluating models and are crucial for advancing the field. Traditionally, expert annotations ensure high-quality labels; however, the cost of expert annotation does not scale well with the growing demand for larger datasets required by modern models. While crowd-sourcing provides a more scalable solution, it often comes at the expense of annotation precision and consistency. Recent advancements in large language models (LLMs) offer new opportunities to enhance the annotation process, particularly for detecting label errors in existing datasets. In this work, we consider the recent approach of LLM-as-a-judge, leveraging an ensemble of LLMs to flag potentially mislabeled examples. Through a case study of four datasets from the TRUE benchmark, covering different tasks and domains, we empirically analyze the labeling quality of existing datasets, and compare expert, crowd-sourced, and our LLM-based annotations in terms of agreement, label quality, and efficiency, demonstrating the strengths and limitations of each annotation method. Our findings reveal a substantial number of label errors, which, when corrected, induce a significant upward shift in reported model performance. This suggests that many of the LLMs so-called mistakes are due to label errors rather than genuine model failures. Additionally, we discuss the implications of mislabeled data and propose methods to mitigate them in training to improve model performance.