SKETCH: 全体的な検索のための構造化された知識強化テキスト理解

SKETCH: Structured Knowledge Enhanced Text Comprehension for Holistic Retrieval

December 19, 2024

著者: Aakash Mahalingam, Vinesh Kumar Gande, Aman Chadha, Vinija Jain, Divya Chaudhary

cs.AI

要旨

検索増強生成（RAG）システムは、膨大なコーパスを活用して情報豊かで文脈に即した応答を生成する上で中心的な役割を果たしており、特に大規模言語モデルにおける幻覚を軽減しています。重要な進展があるものの、これらのシステムは大規模データセットから情報を効率的に処理・取得し、かつ文脈の包括的理解を維持することに苦労しています。本論文では、新しい手法であるSKETCHを紹介し、意味的テキスト検索と知識グラフを統合することで、構造化および非構造化データを統合し、より包括的な理解を可能にするRAG検索プロセスを強化します。SKETCHは、伝統的手法に比べて検索パフォーマンスを大幅に向上させ、優れた文脈の整合性を維持します。QuALITY、QASPER、NarrativeQA、Italian Cuisineの4つの異なるデータセットで評価された結果、SKETCHはanswer_relevancy、faithfulness、context_precision、context_recallなどの主要なRAGASメトリクスにおいてベースライン手法を常に上回りました。特にItalian Cuisineデータセットでは、SKETCHは0.94の回答適合性と0.99の文脈精度を達成し、すべての評価メトリクスにおいて最高のパフォーマンスを示しました。これらの結果は、SKETCHがより正確で文脈に即した応答を提供する能力を強調し、将来の検索システムに新たな基準を設定しています。

English

Retrieval-Augmented Generation (RAG) systems have become pivotal in leveraging vast corpora to generate informed and contextually relevant responses, notably reducing hallucinations in Large Language Models. Despite significant advancements, these systems struggle to efficiently process and retrieve information from large datasets while maintaining a comprehensive understanding of the context. This paper introduces SKETCH, a novel methodology that enhances the RAG retrieval process by integrating semantic text retrieval with knowledge graphs, thereby merging structured and unstructured data for a more holistic comprehension. SKETCH, demonstrates substantial improvements in retrieval performance and maintains superior context integrity compared to traditional methods. Evaluated across four diverse datasets: QuALITY, QASPER, NarrativeQA, and Italian Cuisine-SKETCH consistently outperforms baseline approaches on key RAGAS metrics such as answer_relevancy, faithfulness, context_precision and context_recall. Notably, on the Italian Cuisine dataset, SKETCH achieved an answer relevancy of 0.94 and a context precision of 0.99, representing the highest performance across all evaluated metrics. These results highlight SKETCH's capability in delivering more accurate and contextually relevant responses, setting new benchmarks for future retrieval systems.