SCHIZZO: Comprensione del Testo Potenziata da Conoscenza Strutturata per il Recupero Olistico

SKETCH: Structured Knowledge Enhanced Text Comprehension for Holistic Retrieval

December 19, 2024

Autori: Aakash Mahalingam, Vinesh Kumar Gande, Aman Chadha, Vinija Jain, Divya Chaudhary

cs.AI

Abstract

I sistemi di Generazione potenziata da Recupero (RAG) sono diventati cruciali nel sfruttare vaste corpora per generare risposte informate e pertinenti dal punto di vista contestuale, riducendo notevolmente le allucinazioni nei Grandi Modelli Linguistici. Nonostante significativi progressi, questi sistemi faticano ad elaborare ed estrarre informazioni in modo efficiente da grandi set di dati, mantenendo al contempo una comprensione esaustiva del contesto. Questo articolo introduce SKETCH, una nuova metodologia che potenzia il processo di recupero RAG integrando il recupero semantico del testo con i grafi di conoscenza, unendo così dati strutturati e non strutturati per una comprensione più completa. SKETCH dimostra consistenti miglioramenti nelle prestazioni di recupero e mantiene un'integrità del contesto superiore rispetto ai metodi tradizionali. Valutato su quattro set di dati diversi: QuALITY, QASPER, NarrativeQA e Cucina Italiana, SKETCH supera costantemente le approcci di base su metriche chiave RAGAS come rilevanza_risposta, fedeltà, precisione_contesto e richiamo_contesto. In particolare, nel set di dati sulla Cucina Italiana, SKETCH ha raggiunto una rilevanza della risposta del 0,94 e una precisione del contesto del 0,99, rappresentando le prestazioni più elevate tra tutte le metriche valutate. Questi risultati evidenziano la capacità di SKETCH di fornire risposte più accurate e pertinenti dal punto di vista contestuale, stabilendo nuovi standard per i futuri sistemi di recupero.

English

Retrieval-Augmented Generation (RAG) systems have become pivotal in leveraging vast corpora to generate informed and contextually relevant responses, notably reducing hallucinations in Large Language Models. Despite significant advancements, these systems struggle to efficiently process and retrieve information from large datasets while maintaining a comprehensive understanding of the context. This paper introduces SKETCH, a novel methodology that enhances the RAG retrieval process by integrating semantic text retrieval with knowledge graphs, thereby merging structured and unstructured data for a more holistic comprehension. SKETCH, demonstrates substantial improvements in retrieval performance and maintains superior context integrity compared to traditional methods. Evaluated across four diverse datasets: QuALITY, QASPER, NarrativeQA, and Italian Cuisine-SKETCH consistently outperforms baseline approaches on key RAGAS metrics such as answer_relevancy, faithfulness, context_precision and context_recall. Notably, on the Italian Cuisine dataset, SKETCH achieved an answer relevancy of 0.94 and a context precision of 0.99, representing the highest performance across all evaluated metrics. These results highlight SKETCH's capability in delivering more accurate and contextually relevant responses, setting new benchmarks for future retrieval systems.