Multi-task retriever fine-tuning for domain-specific and efficient RAG

要約

検索拡張生成 (RAG) は、幻覚や古い情報の生成などの一般的な制限に対処できるため、大規模言語モデル (LLM) を展開する際に広く普及しています。
ただし、実際の RAG アプリケーションを構築する場合、実際的な問題が発生します。
まず、取得される情報は通常、ドメイン固有です。
LLM を微調整するには計算コストがかかるため、取得器を微調整して LLM 入力に含まれるデータの品質を向上させる方が現実的です。
第 2 に、より多くのアプリケーションが同じ現実世界のシステムにデプロイされるため、個別の取得者をデプロイする余裕はありません。
さらに、これらの RAG アプリケーションは通常、さまざまな種類のデータを取得します。
私たちのソリューションは、さまざまなドメイン固有のタスクに合わせて小型のレトリーバー エンコーダーを微調整することで、多くのユース ケースに対応できる 1 つのエンコーダーを導入できるようにすることで、低コスト、スケーラビリティ、および速度を実現します。
このエンコーダがドメイン外の設定や、実際の企業のユースケースにおける目に見えない取得タスクにどのように一般化されるかを示します。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) has become ubiquitous when deploying Large Language Models (LLMs), as it can address typical limitations such as generating hallucinated or outdated information. However, when building real-world RAG applications, practical issues arise. First, the retrieved information is generally domain-specific. Since it is computationally expensive to fine-tune LLMs, it is more feasible to fine-tune the retriever to improve the quality of the data included in the LLM input. Second, as more applications are deployed in the same real-world system, one cannot afford to deploy separate retrievers. Moreover, these RAG applications normally retrieve different kinds of data. Our solution is to instruction fine-tune a small retriever encoder on a variety of domain-specific tasks to allow us to deploy one encoder that can serve many use cases, thereby achieving low-cost, scalability, and speed. We show how this encoder generalizes to out-of-domain settings as well as to an unseen retrieval task on real-world enterprise use cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google