CypherBench: LLM 시대의 대규모 현대 지식 그래프에 대한 정확한 검색을 향하여

CypherBench: Towards Precise Retrieval over Full-scale Modern Knowledge Graphs in the LLM Era

December 24, 2024

저자: Yanlin Feng, Simone Papicchio, Sajjadur Rahman

cs.AI

초록

그래프 데이터로부터의 검색은 대규모 언어 모델(LLM)을 오픈 도메인 지식과 기업 내부 데이터 모두로 보강하는 데 중요하며, 최근의 GraphRAG 시스템(Edge 등, 2024)에서도 핵심 구성 요소입니다. 지식 그래프와 지식 베이스 질의에 대한 수십 년의 연구에도 불구하고, 주요 LLM 프레임워크(예: Langchain 및 LlamaIndex)는 Wikidata와 같은 현대적인 백과사전 지식 그래프로부터의 검색을 거의 지원하지 않습니다. 본 논문에서는 이러한 근본적인 원인을 분석하고, 현대적인 RDF 지식 그래프(Wikidata, Freebase 등)가 LLM에 대해 너무 큰 스키마, 자원 식별자의 사용, 중복되는 관계 유형 및 정규화 부재로 인해 효율적이지 않다고 제안합니다. 이에 대한 해결책으로 우리는 LLM이 Cypher를 사용하여 효율적으로 쿼리할 수 있는 기본 RDF 그래프 위에 속성 그래프 뷰를 제안합니다. 우리는 이 아이디어를 Wikidata에 적용하고, 7.8백만 개체와 1만 개 이상의 질문을 포함하는 11개의 대규모, 다도메인 속성 그래프를 갖춘 CypherBench를 소개했습니다. 이를 달성하기 위해 RDF에서 속성 그래프로의 변환 엔진 개발, 텍스트에서 Cypher 작업 생성을 위한 체계적인 파이프라인 작성, 새로운 평가 지표 설계 등 여러 핵심적인 도전에 대처했습니다.

English

Retrieval from graph data is crucial for augmenting large language models (LLM) with both open-domain knowledge and private enterprise data, and it is also a key component in the recent GraphRAG system (edge et al., 2024). Despite decades of research on knowledge graphs and knowledge base question answering, leading LLM frameworks (e.g. Langchain and LlamaIndex) have only minimal support for retrieval from modern encyclopedic knowledge graphs like Wikidata. In this paper, we analyze the root cause and suggest that modern RDF knowledge graphs (e.g. Wikidata, Freebase) are less efficient for LLMs due to overly large schemas that far exceed the typical LLM context window, use of resource identifiers, overlapping relation types and lack of normalization. As a solution, we propose property graph views on top of the underlying RDF graph that can be efficiently queried by LLMs using Cypher. We instantiated this idea on Wikidata and introduced CypherBench, the first benchmark with 11 large-scale, multi-domain property graphs with 7.8 million entities and over 10,000 questions. To achieve this, we tackled several key challenges, including developing an RDF-to-property graph conversion engine, creating a systematic pipeline for text-to-Cypher task generation, and designing new evaluation metrics.