비정형 텍스트 데이터의 대규모 언어 모델의 잠재력과 위험

Potential and Perils of Large Language Models as Judges of Unstructured Textual Data

January 14, 2025

저자: Rewina Bedemariam, Natalie Perez, Sreyoshi Bhaduri, Satya Kapoor, Alex Gil, Elizabeth Conjar, Ikkei Itoku, David Theil, Aman Chadha, Naumaan Nayyar

cs.AI

초록

대형 언어 모델의 급속한 발전은 비구조화된 텍스트 데이터를 처리하고 요약하는 놀라운 능력을 발휘하게 했습니다. 이는 설문 응답과 같은 풍부하고 개방적인 데이터셋의 분석에 영향을 미치며, 이러한 대규모 언어 모델은 주요 주제와 감정을 효율적으로 추출할 수 있는 가능성을 가지고 있습니다. 그러나 기업이 이러한 강력한 AI 시스템을 텍스트 피드백을 해석하는 데 활용할 때 중요한 질문이 제기됩니다. LLMs가 이러한 텍스트 기반 데이터셋에 포함된 관점을 정확하게 대표할 수 있는지 신뢰할 수 있는지에 대한 문제입니다. LLMs는 인간과 유사한 요약을 생성하는 데 뛰어나지만, 그들의 결과물이 원래 응답의 본질에서 우연히 벗어날 수 있는 위험이 있습니다. LLM이 생성한 결과물과 데이터에 실제로 존재하는 주제 간의 불일치는 조직에 심각한 결과를 초래할 수 있는 잘못된 의사결정으로 이어질 수 있습니다. 본 연구는 다른 LLMs가 생성한 요약의 주제적 일치를 평가하기 위한 판단 모델로서 LLMs의 효과를 조사합니다. 우리는 Anthrop Claude 모델을 활용하여 개방형 설문 응답에서 주제적 요약을 생성하였으며, Amazon의 Titan Express, Nova Pro, 그리고 Meta의 Llama가 LLM 판단자로 사용되었습니다. LLM을 심사자로 사용한 접근법은 Cohen의 카파, Spearman의 로, Krippendorff의 알파를 사용하여 인간 평가와 비교되었으며, 전통적인 인간 중심 평가 방법에 대한 확장 가능한 대안임을 입증하였습니다. 우리의 연구 결과는 LLMs가 심사자로서 인간 심사자와 비슷한 확장 가능한 솔루션을 제공하지만, 인간은 여전히 섬세하고 맥락 특정한 뉘앙스를 감지하는 데 뛰어날 수 있다는 것을 보여줍니다. 본 연구는 AI 지원 텍스트 분석에 대한 지식의 증가하는 영역에 기여합니다. 우리는 한계를 논의하고 향후 연구를 위한 권고 사항을 제공하며, 다양한 맥락과 사용 사례에 걸쳐 LLM 판단 모델을 보편화할 때 신중한 고려가 필요함을 강조합니다.

English

Rapid advancements in large language models have unlocked remarkable capabilities when it comes to processing and summarizing unstructured text data. This has implications for the analysis of rich, open-ended datasets, such as survey responses, where LLMs hold the promise of efficiently distilling key themes and sentiments. However, as organizations increasingly turn to these powerful AI systems to make sense of textual feedback, a critical question arises, can we trust LLMs to accurately represent the perspectives contained within these text based datasets? While LLMs excel at generating human-like summaries, there is a risk that their outputs may inadvertently diverge from the true substance of the original responses. Discrepancies between the LLM-generated outputs and the actual themes present in the data could lead to flawed decision-making, with far-reaching consequences for organizations. This research investigates the effectiveness of LLMs as judge models to evaluate the thematic alignment of summaries generated by other LLMs. We utilized an Anthropic Claude model to generate thematic summaries from open-ended survey responses, with Amazon's Titan Express, Nova Pro, and Meta's Llama serving as LLM judges. The LLM-as-judge approach was compared to human evaluations using Cohen's kappa, Spearman's rho, and Krippendorff's alpha, validating a scalable alternative to traditional human centric evaluation methods. Our findings reveal that while LLMs as judges offer a scalable solution comparable to human raters, humans may still excel at detecting subtle, context-specific nuances. This research contributes to the growing body of knowledge on AI assisted text analysis. We discuss limitations and provide recommendations for future research, emphasizing the need for careful consideration when generalizing LLM judge models across various contexts and use cases.