Open-RAG: 오픈 소스 대형 언어 모델을 활용한 향상된 검색 보강 추론

Open-RAG: Enhanced Retrieval-Augmented Reasoning with Open-Source Large Language Models

October 2, 2024

저자: Shayekh Bin Islam, Md Asib Rahman, K S M Tozammel Hossain, Enamul Hoque, Shafiq Joty, Md Rizwan Parvez

cs.AI

초록

검색 보강 생성(RAG)은 대형 언어 모델(LLM)의 사실적 정확성을 향상시키는 데 효과가 있다는 것이 입증되었으나, 기존 방법은 자유롭게 이용 가능한 LLM을 사용할 때 검색된 증거를 효과적으로 활용하는 데 한계가 있습니다. 이 간극을 해소하기 위해 우리는 오픈 소스 LLM에서 RAG의 추론 능력을 향상시키기 위해 설계된 혁신적인 프레임워크인 Open-RAG를 소개합니다. 우리의 프레임워크는 임의의 밀집형 LLM을 복수 전문가(MoE) 모델로 변환하여 복잡한 추론 작업을 다룰 수 있는 매개 변수 효율적인 희소형 모델로 만듭니다. Open-RAG는 도전적인 혼동 요소를 탐색하고, 관련이 있어 보이지만 그릇된 정보인 혼동 요소를 처리할 수 있는 모델을 훈련하는 독특한 방법을 채택합니다. 결과적으로 Open-RAG는 잠재적 학습을 활용하여 관련 전문가를 동적으로 선택하고 외부 지식을 효과적으로 통합하여 더 정확하고 맥락에 부합하는 응답을 제공합니다. 또한, 검색 필요성을 결정하고 성능 향상과 추론 속도 사이의 균형을 유지하는 하이브리드 적응형 검색 방법을 제안합니다. 실험 결과는 Llama2-7B 기반 Open-RAG가 다양한 지식 집약적 작업에서 최첨단 LLM 및 RAG 모델인 ChatGPT, Self-RAG, Command R+보다 우수한 성과를 보인다는 것을 보여줍니다. 우리는 코드와 모델을 https://openragmoe.github.io/에서 오픈 소스로 제공합니다.

English

Retrieval-Augmented Generation (RAG) has been shown to enhance the factual accuracy of Large Language Models (LLMs), but existing methods often suffer from limited reasoning capabilities in effectively using the retrieved evidence, particularly when using open-source LLMs. To mitigate this gap, we introduce a novel framework, Open-RAG, designed to enhance reasoning capabilities in RAG with open-source LLMs. Our framework transforms an arbitrary dense LLM into a parameter-efficient sparse mixture of experts (MoE) model capable of handling complex reasoning tasks, including both single- and multi-hop queries. Open-RAG uniquely trains the model to navigate challenging distractors that appear relevant but are misleading. As a result, Open-RAG leverages latent learning, dynamically selecting relevant experts and integrating external knowledge effectively for more accurate and contextually relevant responses. In addition, we propose a hybrid adaptive retrieval method to determine retrieval necessity and balance the trade-off between performance gain and inference speed. Experimental results show that the Llama2-7B-based Open-RAG outperforms state-of-the-art LLMs and RAG models such as ChatGPT, Self-RAG, and Command R+ in various knowledge-intensive tasks. We open-source our code and models at https://openragmoe.github.io/