Potenzial und Gefahren großer Sprachmodelle als Richter unstrukturierter Textdaten

Potential and Perils of Large Language Models as Judges of Unstructured Textual Data

January 14, 2025

Autoren: Rewina Bedemariam, Natalie Perez, Sreyoshi Bhaduri, Satya Kapoor, Alex Gil, Elizabeth Conjar, Ikkei Itoku, David Theil, Aman Chadha, Naumaan Nayyar

cs.AI

Zusammenfassung

Rasante Fortschritte bei großen Sprachmodellen haben bemerkenswerte Fähigkeiten freigesetzt, wenn es um die Verarbeitung und Zusammenfassung unstrukturierter Textdaten geht. Dies hat Auswirkungen auf die Analyse von umfangreichen, offenen Datensätzen, wie beispielsweise Umfrageantworten, bei denen Sprachmodelle große Versprechen machen, Schlüsselthemen und Stimmungen effizient zu destillieren. Allerdings, während Organisationen zunehmend auf diese leistungsstarken KI-Systeme zurückgreifen, um den Textfeedbacks Sinn zu verleihen, stellt sich eine kritische Frage: Können wir darauf vertrauen, dass Sprachmodelle die in diesen textbasierten Datensätzen enthaltenen Perspektiven genau repräsentieren? Obwohl Sprachmodelle in der Lage sind, menschenähnliche Zusammenfassungen zu generieren, besteht das Risiko, dass ihre Ausgaben unbeabsichtigt vom eigentlichen Inhalt der Originalantworten abweichen könnten. Diskrepanzen zwischen den von Sprachmodellen generierten Ausgaben und den tatsächlichen Themen in den Daten könnten zu fehlerhaften Entscheidungen führen, mit weitreichenden Konsequenzen für Organisationen. Diese Forschung untersucht die Wirksamkeit von Sprachmodellen als Richtermodelle zur Bewertung der thematischen Übereinstimmung von Zusammenfassungen, die von anderen Sprachmodellen generiert wurden. Wir haben ein Anthropisches Claude-Modell verwendet, um thematische Zusammenfassungen von offenen Umfrageantworten zu generieren, wobei Amazon's Titan Express, Nova Pro und Meta's Llama als Sprachmodell-Richter fungierten. Der Ansatz des Sprachmodells als Richter wurde mit menschlichen Bewertungen unter Verwendung von Cohens Kappa, Spearmans Rho und Krippendorffs Alpha verglichen, was eine skalierbare Alternative zu traditionellen, auf Menschen zentrierten Bewertungsmethoden validiert. Unsere Ergebnisse zeigen, dass Sprachmodelle als Richter eine skalierbare Lösung bieten, die mit menschlichen Bewertenden vergleichbar ist, wobei Menschen möglicherweise immer noch darin übertreffen, subtile, kontextspezifische Nuancen zu erkennen. Diese Forschung trägt zum wachsenden Wissenskorpus über KI-unterstützte Textanalyse bei. Wir diskutieren Einschränkungen und geben Empfehlungen für zukünftige Forschung, wobei wir die Notwendigkeit betonen, sorgfältig zu überlegen, wenn Sprachmodell-Richtermodelle über verschiedene Kontexte und Anwendungsfälle verallgemeinert werden.

English

Rapid advancements in large language models have unlocked remarkable capabilities when it comes to processing and summarizing unstructured text data. This has implications for the analysis of rich, open-ended datasets, such as survey responses, where LLMs hold the promise of efficiently distilling key themes and sentiments. However, as organizations increasingly turn to these powerful AI systems to make sense of textual feedback, a critical question arises, can we trust LLMs to accurately represent the perspectives contained within these text based datasets? While LLMs excel at generating human-like summaries, there is a risk that their outputs may inadvertently diverge from the true substance of the original responses. Discrepancies between the LLM-generated outputs and the actual themes present in the data could lead to flawed decision-making, with far-reaching consequences for organizations. This research investigates the effectiveness of LLMs as judge models to evaluate the thematic alignment of summaries generated by other LLMs. We utilized an Anthropic Claude model to generate thematic summaries from open-ended survey responses, with Amazon's Titan Express, Nova Pro, and Meta's Llama serving as LLM judges. The LLM-as-judge approach was compared to human evaluations using Cohen's kappa, Spearman's rho, and Krippendorff's alpha, validating a scalable alternative to traditional human centric evaluation methods. Our findings reveal that while LLMs as judges offer a scalable solution comparable to human raters, humans may still excel at detecting subtle, context-specific nuances. This research contributes to the growing body of knowledge on AI assisted text analysis. We discuss limitations and provide recommendations for future research, emphasizing the need for careful consideration when generalizing LLM judge models across various contexts and use cases.