Recuperação Personalizada Baseada em Gráficos para Modelos de Linguagem de Grande Escala

Personalized Graph-Based Retrieval for Large Language Models

January 4, 2025

Autores: Steven Au, Cameron J. Dimacali, Ojasmitha Pedirappagari, Namyong Park, Franck Dernoncourt, Yu Wang, Nikos Kanakaris, Hanieh Deilamsalehy, Ryan A. Rossi, Nesreen K. Ahmed

cs.AI

Resumo

À medida que os modelos de linguagem de grande escala (LLMs) evoluem, sua capacidade de fornecer respostas personalizadas e sensíveis ao contexto oferece um potencial transformador para melhorar as experiências do usuário. No entanto, as abordagens de personalização existentes frequentemente se baseiam exclusivamente no histórico do usuário para complementar a solicitação, limitando sua eficácia na geração de saídas personalizadas, especialmente em cenários de inicialização a frio com dados esparsos. Para lidar com essas limitações, propomos a Geração Aprimorada com Recuperação Baseada em Grafo Personalizado (PGraphRAG), um framework que alavanca grafos de conhecimento centrados no usuário para enriquecer a personalização. Ao integrar diretamente o conhecimento estruturado do usuário no processo de recuperação e aprimorar as solicitações com contexto relevante do usuário, o PGraphRAG aprimora a compreensão contextual e a qualidade da saída. Também introduzimos o Benchmark Baseado em Grafo Personalizado para Geração de Texto, projetado para avaliar tarefas de geração de texto personalizado em ambientes do mundo real onde o histórico do usuário é escasso ou indisponível. Resultados experimentais mostram que o PGraphRAG supera significativamente os métodos de personalização de ponta em diversas tarefas, demonstrando as vantagens únicas da recuperação baseada em grafo para personalização.

English

As large language models (LLMs) evolve, their ability to deliver personalized and context-aware responses offers transformative potential for improving user experiences. Existing personalization approaches, however, often rely solely on user history to augment the prompt, limiting their effectiveness in generating tailored outputs, especially in cold-start scenarios with sparse data. To address these limitations, we propose Personalized Graph-based Retrieval-Augmented Generation (PGraphRAG), a framework that leverages user-centric knowledge graphs to enrich personalization. By directly integrating structured user knowledge into the retrieval process and augmenting prompts with user-relevant context, PGraphRAG enhances contextual understanding and output quality. We also introduce the Personalized Graph-based Benchmark for Text Generation, designed to evaluate personalized text generation tasks in real-world settings where user history is sparse or unavailable. Experimental results show that PGraphRAG significantly outperforms state-of-the-art personalization methods across diverse tasks, demonstrating the unique advantages of graph-based retrieval for personalization.