Efficient Federated Search for Retrieval-Augmented Generation

要約

大規模な言語モデル（LLMS）は、さまざまなドメインにわたって顕著な能力を実証していますが、幻覚や矛盾の影響を受けやすく、信頼性を制限しています。
検索された生成（RAG）は、外部の知識ソースでモデル応答を接地することにより、これらの問題を軽減します。
既存のRAGワークフローは、多くの場合、単一のベクトルデータベースを活用します。これは、複数のリポジトリに情報が配布される一般的な設定では非現実的です。
フェデレーションラグ検索の新しいメカニズムであるRagrouteを紹介します。
Ragrouteは、軽量ニューラルネットワーク分類器を使用して、クエリ時に関連するデータソースを動的に選択します。
すべてのデータソースを照会しないことにより、このアプローチはクエリオーバーヘッドを大幅に削減し、検索効率を向上させ、無関係な情報の検索を最小限に抑えます。
MirageとMMLUのベンチマークを使用してRagrouteを評価し、関連文書を取得しながらクエリの数を減らしながらその有効性を示します。
Ragrouteは、クエリの総数を最大77.5％に減らし、通信量は最大76.2％に減少します。

要約(オリジナル)

Large language models (LLMs) have demonstrated remarkable capabilities across various domains but remain susceptible to hallucinations and inconsistencies, limiting their reliability. Retrieval-augmented generation (RAG) mitigates these issues by grounding model responses in external knowledge sources. Existing RAG workflows often leverage a single vector database, which is impractical in the common setting where information is distributed across multiple repositories. We introduce RAGRoute, a novel mechanism for federated RAG search. RAGRoute dynamically selects relevant data sources at query time using a lightweight neural network classifier. By not querying every data source, this approach significantly reduces query overhead, improves retrieval efficiency, and minimizes the retrieval of irrelevant information. We evaluate RAGRoute using the MIRAGE and MMLU benchmarks and demonstrate its effectiveness in retrieving relevant documents while reducing the number of queries. RAGRoute reduces the total number of queries up to 77.5% and communication volume up to 76.2%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google