Sind LLMs besser als berichtet? Erkennung von Etikettenfehlern und Minderung ihrer Auswirkungen auf die Modellleistung.

Are LLMs Better than Reported? Detecting Label Errors and Mitigating Their Effect on Model Performance

October 24, 2024

Autoren: Omer Nahum, Nitay Calderon, Orgad Keller, Idan Szpektor, Roi Reichart

cs.AI

Zusammenfassung

NLP-Benchmarks verlassen sich auf standardisierte Datensätze zur Schulung und Bewertung von Modellen und sind entscheidend für die Weiterentwicklung des Fachgebiets. Traditionell gewährleisten Expertenannotationen hochwertige Labels; jedoch skaliert der Kostenfaktor für Expertenannotationen nicht gut mit der steigenden Nachfrage nach größeren Datensätzen, die von modernen Modellen benötigt werden. Während Crowdsourcing eine skalierbarere Lösung bietet, geht dies oft auf Kosten der Präzision und Konsistenz der Annotation. Die jüngsten Fortschritte bei großen Sprachmodellen (LLMs) bieten neue Möglichkeiten zur Verbesserung des Annotationsprozesses, insbesondere zur Erkennung von Labelfehlern in vorhandenen Datensätzen. In dieser Arbeit betrachten wir den aktuellen Ansatz von LLM-als-Richter, der ein Ensemble von LLMs nutzt, um potenziell falsch gekennzeichnete Beispiele zu kennzeichnen. Anhand einer Fallstudie von vier Datensätzen aus dem TRUE-Benchmark, die verschiedene Aufgaben und Domänen abdecken, analysieren wir empirisch die Labelqualität vorhandener Datensätze und vergleichen Experten-, Crowdsourcing- und unsere LLM-basierten Annotationen hinsichtlich Übereinstimmung, Labelqualität und Effizienz. Dabei zeigen wir die Stärken und Grenzen jedes Annotationsverfahrens auf. Unsere Ergebnisse zeigen eine beträchtliche Anzahl von Labelfehlern auf, die bei Korrektur zu einem signifikanten Anstieg der gemeldeten Modellleistung führen. Dies legt nahe, dass viele der sogenannten Fehler der LLMs auf Labelfehler und nicht auf echte Modellfehler zurückzuführen sind. Darüber hinaus diskutieren wir die Auswirkungen von falsch gekennzeichneten Daten und schlagen Methoden vor, um diese im Training zu mildern und die Modellleistung zu verbessern.

English

NLP benchmarks rely on standardized datasets for training and evaluating models and are crucial for advancing the field. Traditionally, expert annotations ensure high-quality labels; however, the cost of expert annotation does not scale well with the growing demand for larger datasets required by modern models. While crowd-sourcing provides a more scalable solution, it often comes at the expense of annotation precision and consistency. Recent advancements in large language models (LLMs) offer new opportunities to enhance the annotation process, particularly for detecting label errors in existing datasets. In this work, we consider the recent approach of LLM-as-a-judge, leveraging an ensemble of LLMs to flag potentially mislabeled examples. Through a case study of four datasets from the TRUE benchmark, covering different tasks and domains, we empirically analyze the labeling quality of existing datasets, and compare expert, crowd-sourced, and our LLM-based annotations in terms of agreement, label quality, and efficiency, demonstrating the strengths and limitations of each annotation method. Our findings reveal a substantial number of label errors, which, when corrected, induce a significant upward shift in reported model performance. This suggests that many of the LLMs so-called mistakes are due to label errors rather than genuine model failures. Additionally, we discuss the implications of mislabeled data and propose methods to mitigate them in training to improve model performance.