Потенциал и опасности использования больших языковых моделей в качестве судей для неструктурированных текстовых данных

Potential and Perils of Large Language Models as Judges of Unstructured Textual Data

January 14, 2025

Авторы: Rewina Bedemariam, Natalie Perez, Sreyoshi Bhaduri, Satya Kapoor, Alex Gil, Elizabeth Conjar, Ikkei Itoku, David Theil, Aman Chadha, Naumaan Nayyar

cs.AI

Аннотация

Быстрый прогресс в области крупных языковых моделей открыл удивительные возможности в обработке и резюмировании неструктурированных текстовых данных. Это имеет значение для анализа обширных, открытых наборов данных, таких как опросные ответы, где крупные языковые модели обещают эффективно выделить ключевые темы и настроения. Однако, по мере того как организации все чаще обращаются к этим мощным ИИ-системам для анализа текстовой обратной связи, возникает критический вопрос: можно ли доверять крупным языковым моделям в точном представлении содержащихся в этих текстовых наборах данных точек зрения? Хотя крупные языковые модели отлично справляются с генерацией резюме, существует риск того, что их результаты могут ненамеренно отклоняться от истинного содержания первоначальных ответов. Разногласия между результатами, сгенерированными крупными языковыми моделями, и фактическими темами, присутствующими в данных, могут привести к ошибочному принятию решений с далеко идущими последствиями для организаций. В данном исследовании исследуется эффективность крупных языковых моделей в качестве моделей-судей для оценки тематического соответствия резюме, сгенерированных другими крупными языковыми моделями. Мы использовали модель Anthropic Claude для генерации тематических резюме из открытых опросных ответов, при этом модели Titan Express от Amazon, Nova Pro и Llama от Meta выступали в роли моделей-судей. Подход с использованием крупных языковых моделей в качестве судей был сравнен с оценками людей с использованием каппы Коэна, ро Спирмена и альфы Криппендорфа, подтверждая масштабируемую альтернативу традиционным методам оценки, ориентированным на человека. Наши результаты показывают, что, хотя крупные языковые модели в качестве судей предлагают масштабируемое решение, сопоставимое с оценками людей, люди все еще могут превосходить в обнаружении тонких, контекстно-специфических нюансов. Это исследование вносит свой вклад в растущее количество знаний об анализе текста с помощью ИИ. Мы обсуждаем ограничения и предлагаем рекомендации для будущих исследований, подчеркивая необходимость тщательного обдумывания при обобщении моделей-судей крупных языковых моделей в различных контекстах и сценариях использования.

English

Rapid advancements in large language models have unlocked remarkable capabilities when it comes to processing and summarizing unstructured text data. This has implications for the analysis of rich, open-ended datasets, such as survey responses, where LLMs hold the promise of efficiently distilling key themes and sentiments. However, as organizations increasingly turn to these powerful AI systems to make sense of textual feedback, a critical question arises, can we trust LLMs to accurately represent the perspectives contained within these text based datasets? While LLMs excel at generating human-like summaries, there is a risk that their outputs may inadvertently diverge from the true substance of the original responses. Discrepancies between the LLM-generated outputs and the actual themes present in the data could lead to flawed decision-making, with far-reaching consequences for organizations. This research investigates the effectiveness of LLMs as judge models to evaluate the thematic alignment of summaries generated by other LLMs. We utilized an Anthropic Claude model to generate thematic summaries from open-ended survey responses, with Amazon's Titan Express, Nova Pro, and Meta's Llama serving as LLM judges. The LLM-as-judge approach was compared to human evaluations using Cohen's kappa, Spearman's rho, and Krippendorff's alpha, validating a scalable alternative to traditional human centric evaluation methods. Our findings reveal that while LLMs as judges offer a scalable solution comparable to human raters, humans may still excel at detecting subtle, context-specific nuances. This research contributes to the growing body of knowledge on AI assisted text analysis. We discuss limitations and provide recommendations for future research, emphasizing the need for careful consideration when generalizing LLM judge models across various contexts and use cases.