도메인 특화 및 효율적인 RAG를 위한 멀티 태스크 리트리버 파인튜닝

Multi-task retriever fine-tuning for domain-specific and efficient RAG

January 8, 2025

저자: Patrice Béchard, Orlando Marquez Ayala

cs.AI

초록

검색 증강 생성 (RAG)은 대규모 언어 모델 (LLM)을 배포할 때 일반적으로 사용되며, 환상적이거나 오래된 정보를 생성하는 등의 전형적인 한계를 해결할 수 있습니다. 그러나 실제 RAG 응용 프로그램을 구축할 때 실용적인 문제가 발생합니다. 첫째, 검색된 정보는 일반적으로 도메인별입니다. LLM을 세밀하게 조정하는 것은 계산 비용이 많이 들기 때문에, 검색기를 세밀하게 조정하여 LLM 입력에 포함된 데이터의 품질을 향상시키는 것이 더 실용적입니다. 둘째, 동일한 실제 시스템에 더 많은 응용 프로그램을 배포할 경우 별도의 검색기를 배포할 여력이 없습니다. 게다가, 이러한 RAG 응용 프로그램은 일반적으로 다른 종류의 데이터를 검색합니다. 우리의 해결책은 다양한 도메인별 작업에서 작은 검색기 인코더를 지시적으로 세밀하게 조정하여 여러 사용 사례에 대응할 수 있는 인코더를 배포할 수 있도록 하는 것입니다. 이를 통해 저렴한 비용, 확장성 및 속도를 달성할 수 있습니다. 이 인코더가 도메인 밖 설정 및 실제 기업 사용 사례에서 보이지 않는 검색 작업에 대해 어떻게 일반화되는지 보여줍니다.

English

Retrieval-Augmented Generation (RAG) has become ubiquitous when deploying Large Language Models (LLMs), as it can address typical limitations such as generating hallucinated or outdated information. However, when building real-world RAG applications, practical issues arise. First, the retrieved information is generally domain-specific. Since it is computationally expensive to fine-tune LLMs, it is more feasible to fine-tune the retriever to improve the quality of the data included in the LLM input. Second, as more applications are deployed in the same real-world system, one cannot afford to deploy separate retrievers. Moreover, these RAG applications normally retrieve different kinds of data. Our solution is to instruction fine-tune a small retriever encoder on a variety of domain-specific tasks to allow us to deploy one encoder that can serve many use cases, thereby achieving low-cost, scalability, and speed. We show how this encoder generalizes to out-of-domain settings as well as to an unseen retrieval task on real-world enterprise use cases.