ESBOÇO: Compreensão de Texto Aprimorada por Conhecimento Estruturado para Recuperação Holística

SKETCH: Structured Knowledge Enhanced Text Comprehension for Holistic Retrieval

December 19, 2024

Autores: Aakash Mahalingam, Vinesh Kumar Gande, Aman Chadha, Vinija Jain, Divya Chaudhary

cs.AI

Resumo

Os sistemas de Geração com Recuperação Aprimorada (RAG) tornaram-se fundamentais para alavancar vastos corpora a fim de gerar respostas informadas e contextualmente relevantes, reduzindo significativamente as alucinações em Modelos de Linguagem de Grande Escala. Apesar dos avanços significativos, esses sistemas enfrentam dificuldades em processar e recuperar informações de grandes conjuntos de dados de forma eficiente, mantendo uma compreensão abrangente do contexto. Este artigo apresenta o SKETCH, uma metodologia inovadora que aprimora o processo de recuperação do RAG integrando a recuperação de texto semântico com grafos de conhecimento, fundindo dados estruturados e não estruturados para uma compreensão mais holística. O SKETCH demonstra melhorias substanciais no desempenho de recuperação e mantém uma integridade de contexto superior em comparação com métodos tradicionais. Avaliado em quatro conjuntos de dados diversos: QuALITY, QASPER, NarrativeQA e Italian Cuisine, o SKETCH supera consistentemente abordagens de referência em métricas-chave do RAGAS, como relevância de resposta, fidelidade, precisão de contexto e recall de contexto. Notavelmente, no conjunto de dados Italian Cuisine, o SKETCH alcançou uma relevância de resposta de 0,94 e uma precisão de contexto de 0,99, representando o melhor desempenho em todas as métricas avaliadas. Esses resultados destacam a capacidade do SKETCH em fornecer respostas mais precisas e contextualmente relevantes, estabelecendo novos padrões para futuros sistemas de recuperação.

English

Retrieval-Augmented Generation (RAG) systems have become pivotal in leveraging vast corpora to generate informed and contextually relevant responses, notably reducing hallucinations in Large Language Models. Despite significant advancements, these systems struggle to efficiently process and retrieve information from large datasets while maintaining a comprehensive understanding of the context. This paper introduces SKETCH, a novel methodology that enhances the RAG retrieval process by integrating semantic text retrieval with knowledge graphs, thereby merging structured and unstructured data for a more holistic comprehension. SKETCH, demonstrates substantial improvements in retrieval performance and maintains superior context integrity compared to traditional methods. Evaluated across four diverse datasets: QuALITY, QASPER, NarrativeQA, and Italian Cuisine-SKETCH consistently outperforms baseline approaches on key RAGAS metrics such as answer_relevancy, faithfulness, context_precision and context_recall. Notably, on the Italian Cuisine dataset, SKETCH achieved an answer relevancy of 0.94 and a context precision of 0.99, representing the highest performance across all evaluated metrics. These results highlight SKETCH's capability in delivering more accurate and contextually relevant responses, setting new benchmarks for future retrieval systems.