DeepRAG: 대규모 언어 모델을 위한 단계별 검색을 위한 사고

DeepRAG: Thinking to Retrieval Step by Step for Large Language Models

February 3, 2025

저자: Xinyan Guan, Jiali Zeng, Fandong Meng, Chunlei Xin, Yaojie Lu, Hongyu Lin, Xianpei Han, Le Sun, Jie Zhou

cs.AI

초록

대형 언어 모델 (LLMs)은 추론에서 높은 잠재력을 보여주었지만, 시기적, 정확성 및 매개 변수 지식의 범위로 인해 심각한 사실 상투를 겪고 있습니다. 한편, 추론을 검색 증강 생성 (RAG)과 통합하는 것은 작업 분해의 비효율성과 중복된 검색으로 인해 여전히 어려운 상황이며, 이는 노이즈를 도입하고 응답 품질을 저하시킬 수 있습니다. 본 논문에서는 DeepRAG라는 프레임워크를 제안합니다. 이 프레임워크는 검색 증강 추론을 마르코프 결정 과정 (MDP)으로 모델링하여 전략적이고 적응적인 검색을 가능하게 합니다. DeepRAG는 쿼리를 반복적으로 분해함으로써 각 단계에서 외부 지식을 검색할지 매개 변수 추론에 의존할지 동적으로 결정합니다. 실험 결과는 DeepRAG가 검색 효율성을 향상시키면서 정답 정확도를 21.99% 향상시킨다는 것을 보여주며, 검색 증강 추론을 최적화하는 데 효과적임을 입증합니다.

English

Large Language Models (LLMs) have shown remarkable potential in reasoning while they still suffer from severe factual hallucinations due to timeliness, accuracy, and coverage of parametric knowledge. Meanwhile, integrating reasoning with retrieval-augmented generation (RAG) remains challenging due to ineffective task decomposition and redundant retrieval, which can introduce noise and degrade response quality. In this paper, we propose DeepRAG, a framework that models retrieval-augmented reasoning as a Markov Decision Process (MDP), enabling strategic and adaptive retrieval. By iteratively decomposing queries, DeepRAG dynamically determines whether to retrieve external knowledge or rely on parametric reasoning at each step. Experiments show that DeepRAG improves retrieval efficiency while improving answer accuracy by 21.99%, demonstrating its effectiveness in optimizing retrieval-augmented reasoning.