Recupero personalizzato basato su grafi per modelli linguistici di grandi dimensioni

Personalized Graph-Based Retrieval for Large Language Models

January 4, 2025

Autori: Steven Au, Cameron J. Dimacali, Ojasmitha Pedirappagari, Namyong Park, Franck Dernoncourt, Yu Wang, Nikos Kanakaris, Hanieh Deilamsalehy, Ryan A. Rossi, Nesreen K. Ahmed

cs.AI

Abstract

Con l'evoluzione dei grandi modelli linguistici (LLM), la loro capacità di fornire risposte personalizzate e consapevoli del contesto offre un potenziale trasformativo per migliorare le esperienze degli utenti. Tuttavia, gli approcci attuali alla personalizzazione spesso si basano esclusivamente sulla storia dell'utente per arricchire il prompt, limitando la loro efficacia nella generazione di output su misura, specialmente in scenari di avvio a freddo con dati scarsi. Per affrontare queste limitazioni, proponiamo il Recupero-Aumentato Generazione Basato su Grafo Personalizzato (PGraphRAG), un framework che sfrutta i grafi di conoscenza centrati sull'utente per arricchire la personalizzazione. Integrando direttamente la conoscenza strutturata dell'utente nel processo di recupero e arricchendo i prompt con contesti rilevanti per l'utente, PGraphRAG migliora la comprensione contestuale e la qualità dell'output. Introduciamo anche il Benchmark Basato su Grafo Personalizzato per la Generazione di Testo, progettato per valutare compiti di generazione di testo personalizzati in contesti reali in cui la storia dell'utente è scarsa o non disponibile. I risultati sperimentali mostrano che PGraphRAG supera significativamente i metodi di personalizzazione all'avanguardia su diverse attività, dimostrando i vantaggi unici del recupero basato su grafo per la personalizzazione.

English

As large language models (LLMs) evolve, their ability to deliver personalized and context-aware responses offers transformative potential for improving user experiences. Existing personalization approaches, however, often rely solely on user history to augment the prompt, limiting their effectiveness in generating tailored outputs, especially in cold-start scenarios with sparse data. To address these limitations, we propose Personalized Graph-based Retrieval-Augmented Generation (PGraphRAG), a framework that leverages user-centric knowledge graphs to enrich personalization. By directly integrating structured user knowledge into the retrieval process and augmenting prompts with user-relevant context, PGraphRAG enhances contextual understanding and output quality. We also introduce the Personalized Graph-based Benchmark for Text Generation, designed to evaluate personalized text generation tasks in real-world settings where user history is sparse or unavailable. Experimental results show that PGraphRAG significantly outperforms state-of-the-art personalization methods across diverse tasks, demonstrating the unique advantages of graph-based retrieval for personalization.