Potencial e Perigos dos Modelos de Linguagem Grandes como Juízes de Dados Textuais Não Estruturados

Potential and Perils of Large Language Models as Judges of Unstructured Textual Data

January 14, 2025

Autores: Rewina Bedemariam, Natalie Perez, Sreyoshi Bhaduri, Satya Kapoor, Alex Gil, Elizabeth Conjar, Ikkei Itoku, David Theil, Aman Chadha, Naumaan Nayyar

cs.AI

Resumo

Os avanços rápidos em grandes modelos de linguagem desbloquearam capacidades notáveis quando se trata de processar e resumir dados de texto não estruturados. Isso tem implicações para a análise de conjuntos de dados ricos e abertos, como respostas de pesquisas, onde os LLMs prometem destilar eficientemente temas e sentimentos-chave. No entanto, à medida que as organizações recorrem cada vez mais a esses poderosos sistemas de IA para dar sentido ao feedback textual, surge uma questão crítica: podemos confiar que os LLMs representem com precisão as perspectivas contidas nesses conjuntos de dados baseados em texto? Embora os LLMs se destaquem na geração de resumos semelhantes aos humanos, há o risco de que suas saídas possam inadvertidamente se afastar da verdadeira substância das respostas originais. Discrepâncias entre as saídas geradas pelos LLMs e os temas reais presentes nos dados poderiam levar a tomadas de decisão falhas, com consequências de longo alcance para as organizações. Esta pesquisa investiga a eficácia dos LLMs como modelos de juízes para avaliar o alinhamento temático dos resumos gerados por outros LLMs. Utilizamos um modelo Claude Antropocêntrico para gerar resumos temáticos a partir de respostas de pesquisas abertas, com o Titan Express da Amazon, o Nova Pro e o Llama da Meta atuando como juízes LLM. A abordagem de LLM como juiz foi comparada a avaliações humanas usando o kappa de Cohen, o rho de Spearman e o alfa de Krippendorff, validando uma alternativa escalável aos métodos tradicionais de avaliação centrados no humano. Nossas descobertas revelam que, embora os LLMs como juízes ofereçam uma solução escalável comparável aos avaliadores humanos, os humanos ainda podem se destacar na detecção de nuances sutis e específicas do contexto. Esta pesquisa contribui para o crescente corpo de conhecimento sobre análise de texto assistida por IA. Discutimos limitações e fornecemos recomendações para pesquisas futuras, enfatizando a necessidade de consideração cuidadosa ao generalizar modelos de juízes LLM em vários contextos e casos de uso.

English

Rapid advancements in large language models have unlocked remarkable capabilities when it comes to processing and summarizing unstructured text data. This has implications for the analysis of rich, open-ended datasets, such as survey responses, where LLMs hold the promise of efficiently distilling key themes and sentiments. However, as organizations increasingly turn to these powerful AI systems to make sense of textual feedback, a critical question arises, can we trust LLMs to accurately represent the perspectives contained within these text based datasets? While LLMs excel at generating human-like summaries, there is a risk that their outputs may inadvertently diverge from the true substance of the original responses. Discrepancies between the LLM-generated outputs and the actual themes present in the data could lead to flawed decision-making, with far-reaching consequences for organizations. This research investigates the effectiveness of LLMs as judge models to evaluate the thematic alignment of summaries generated by other LLMs. We utilized an Anthropic Claude model to generate thematic summaries from open-ended survey responses, with Amazon's Titan Express, Nova Pro, and Meta's Llama serving as LLM judges. The LLM-as-judge approach was compared to human evaluations using Cohen's kappa, Spearman's rho, and Krippendorff's alpha, validating a scalable alternative to traditional human centric evaluation methods. Our findings reveal that while LLMs as judges offer a scalable solution comparable to human raters, humans may still excel at detecting subtle, context-specific nuances. This research contributes to the growing body of knowledge on AI assisted text analysis. We discuss limitations and provide recommendations for future research, emphasizing the need for careful consideration when generalizing LLM judge models across various contexts and use cases.