ドメイン固有および効率的なRAGのためのマルチタスクリトリーバーファインチューニング

Multi-task retriever fine-tuning for domain-specific and efficient RAG

January 8, 2025

著者: Patrice Béchard, Orlando Marquez Ayala

cs.AI

要旨

Retrieval-Augmented Generation（RAG）は、大規模言語モデル（LLM）を展開する際に普及しており、幻覚を生じたり古くなった情報を生成するなどの典型的な制限に対処できます。ただし、実世界のRAGアプリケーションを構築する際には実用上の問題が発生します。まず、取得される情報は一般に特定のドメインに特化しています。LLMを微調整するのは計算コストがかかるため、取得器を微調整してLLM入力に含まれるデータの品質を向上させる方が実現可能です。第二に、同じ実世界システムに複数のアプリケーションを展開する場合、別々の取得器を展開する余裕はありません。さらに、これらのRAGアプリケーションは通常、異なる種類のデータを取得します。私たちの解決策は、さまざまなドメイン固有のタスクで取得器エンコーダを指示微調整し、多くのユースケースに対応できるエンコーダを展開することで、低コスト、スケーラビリティ、および高速化を実現することです。このエンコーダがどのようにして異なるドメイン設定や実世界の企業ユースケースでの未知の取得タスクにも汎用化されるかを示します。

English

Retrieval-Augmented Generation (RAG) has become ubiquitous when deploying Large Language Models (LLMs), as it can address typical limitations such as generating hallucinated or outdated information. However, when building real-world RAG applications, practical issues arise. First, the retrieved information is generally domain-specific. Since it is computationally expensive to fine-tune LLMs, it is more feasible to fine-tune the retriever to improve the quality of the data included in the LLM input. Second, as more applications are deployed in the same real-world system, one cannot afford to deploy separate retrievers. Moreover, these RAG applications normally retrieve different kinds of data. Our solution is to instruction fine-tune a small retriever encoder on a variety of domain-specific tasks to allow us to deploy one encoder that can serve many use cases, thereby achieving low-cost, scalability, and speed. We show how this encoder generalizes to out-of-domain settings as well as to an unseen retrieval task on real-world enterprise use cases.