스케치: 구조화된 지식 강화 텍스트 이해를 통한 전체적 검색

초록

검색 증강 생성(Retrieval-Augmented Generation, RAG) 시스템은 방대한 말뭉치를 활용하여 정보가 풍부하고 맥락적으로 관련성 있는 응답을 생성하는 데 중요한 역할을 하며, 특히 대형 언어 모델의 환각을 줄이는 데 도움이 됩니다. 중요한 발전이 있었음에도 불구하고, 이러한 시스템은 대규모 데이터셋에서 정보를 효율적으로 처리하고 검색하는 데 어려움을 겪으며 맥락에 대한 포괄적인 이해를 유지하는 데 어려움을 겪습니다. 본 논문은 SKETCH를 소개하는데, 이는 의미론적 텍스트 검색을 지식 그래프와 통합하여 구조화된 데이터와 비구조화된 데이터를 통합하여 더 통합적인 이해를 제공하는 RAG 검색 과정을 향상시키는 새로운 방법론입니다. SKETCH는 전통적인 방법에 비해 검색 성능을 상당히 향상시키고 우수한 맥락 무결성을 유지합니다. QuALITY, QASPER, NarrativeQA 및 Italian Cuisine와 같이 다양한 데이터셋을 통해 평가된 결과를 보면, SKETCH는 answer_relevancy, faithfulness, context_precision 및 context_recall과 같은 주요 RAGAS 지표에서 기준선 방법보다 일관적으로 우수한 성과를 보입니다. 특히 Italian Cuisine 데이터셋에서 SKETCH는 0.94의 답변 관련성과 0.99의 맥락 정밀도를 달성하여 모든 평가된 지표에서 가장 뛰어난 성과를 나타냅니다. 이러한 결과는 SKETCH가 더 정확하고 맥락적으로 관련성 있는 응답을 제공하는 능력을 강조하며, 미래 검색 시스템에 대한 새로운 기준을 제시합니다.

English

Retrieval-Augmented Generation (RAG) systems have become pivotal in leveraging vast corpora to generate informed and contextually relevant responses, notably reducing hallucinations in Large Language Models. Despite significant advancements, these systems struggle to efficiently process and retrieve information from large datasets while maintaining a comprehensive understanding of the context. This paper introduces SKETCH, a novel methodology that enhances the RAG retrieval process by integrating semantic text retrieval with knowledge graphs, thereby merging structured and unstructured data for a more holistic comprehension. SKETCH, demonstrates substantial improvements in retrieval performance and maintains superior context integrity compared to traditional methods. Evaluated across four diverse datasets: QuALITY, QASPER, NarrativeQA, and Italian Cuisine-SKETCH consistently outperforms baseline approaches on key RAGAS metrics such as answer_relevancy, faithfulness, context_precision and context_recall. Notably, on the Italian Cuisine dataset, SKETCH achieved an answer relevancy of 0.94 and a context precision of 0.99, representing the highest performance across all evaluated metrics. These results highlight SKETCH's capability in delivering more accurate and contextually relevant responses, setting new benchmarks for future retrieval systems.

스케치: 구조화된 지식 강화 텍스트 이해를 통한 전체적 검색

SKETCH: Structured Knowledge Enhanced Text Comprehension for Holistic Retrieval

초록

Support