Les LLM sont-ils meilleurs que ce qui est rapporté ? Détection des erreurs d'étiquetage et atténuation de leur impact sur les performances du modèle

Are LLMs Better than Reported? Detecting Label Errors and Mitigating Their Effect on Model Performance

October 24, 2024

Auteurs: Omer Nahum, Nitay Calderon, Orgad Keller, Idan Szpektor, Roi Reichart

cs.AI

Résumé

Les référentiels de traitement automatique du langage naturel reposent sur des ensembles de données normalisés pour l'entraînement et l'évaluation des modèles, et sont cruciaux pour faire progresser le domaine. Traditionnellement, les annotations d'experts garantissent des étiquettes de haute qualité ; cependant, le coût de l'annotation par des experts n'évolue pas de manière optimale avec la demande croissante de jeux de données plus importants nécessaires aux modèles modernes. Alors que le recours à la foule offre une solution plus évolutive, cela se fait souvent au détriment de la précision et de la cohérence des annotations. Les récentes avancées dans les grands modèles de langage (LLM) offrent de nouvelles opportunités pour améliorer le processus d'annotation, en particulier pour détecter les erreurs d'étiquetage dans les ensembles de données existants. Dans ce travail, nous examinons l'approche récente du LLM en tant que juge, en exploitant un ensemble de LLM pour signaler les exemples potentiellement mal étiquetés. À travers une étude de cas portant sur quatre ensembles de données de l'ensemble TRUE, couvrant différentes tâches et domaines, nous analysons empiriquement la qualité de l'étiquetage des ensembles de données existants, et comparons les annotations d'experts, de la foule et basées sur notre LLM en termes d'accord, de qualité d'étiquetage et d'efficacité, démontrant les forces et les limites de chaque méthode d'annotation. Nos résultats révèlent un nombre substantiel d'erreurs d'étiquetage, qui, une fois corrigées, entraînent une augmentation significative des performances des modèles rapportées. Cela suggère que bon nombre des prétendues erreurs des LLM sont dues à des erreurs d'étiquetage plutôt qu'à de véritables échecs du modèle. De plus, nous discutons des implications des données mal étiquetées et proposons des méthodes pour les atténuer lors de l'entraînement afin d'améliorer les performances des modèles.

English

NLP benchmarks rely on standardized datasets for training and evaluating models and are crucial for advancing the field. Traditionally, expert annotations ensure high-quality labels; however, the cost of expert annotation does not scale well with the growing demand for larger datasets required by modern models. While crowd-sourcing provides a more scalable solution, it often comes at the expense of annotation precision and consistency. Recent advancements in large language models (LLMs) offer new opportunities to enhance the annotation process, particularly for detecting label errors in existing datasets. In this work, we consider the recent approach of LLM-as-a-judge, leveraging an ensemble of LLMs to flag potentially mislabeled examples. Through a case study of four datasets from the TRUE benchmark, covering different tasks and domains, we empirically analyze the labeling quality of existing datasets, and compare expert, crowd-sourced, and our LLM-based annotations in terms of agreement, label quality, and efficiency, demonstrating the strengths and limitations of each annotation method. Our findings reveal a substantial number of label errors, which, when corrected, induce a significant upward shift in reported model performance. This suggests that many of the LLMs so-called mistakes are due to label errors rather than genuine model failures. Additionally, we discuss the implications of mislabeled data and propose methods to mitigate them in training to improve model performance.