Hybrid Retrieval-Augmented Generation for Real-time Composition Assistance

要約

検索拡張モデルは、文脈の理解を改善し、プライベート データを統合し、幻覚を軽減することにより、従来の言語モデルを強化することが期待できます。
ただし、検索拡張された大規模な言語モデルに必要な処理時間は、作成支援などのリアルタイム応答が必要なタスクに適用する場合に課題を引き起こします。
この制限を克服するために、クライアント モデルとクラウド モデルの両方を組み合わせたハイブリッド設定を活用するハイブリッド検索拡張生成 (HybridRAG) フレームワークを提案します。
HybridRAG には、クラウド内の大規模言語モデル (LLM) によって非同期的に生成された検索拡張メモリが組み込まれています。
この検索拡張メモリを統合することにより、クライアント モデルは、LLM の機能の恩恵を受けて、非常に効果的な応答を生成する機能を獲得します。
さらに、クライアント モデルは、非同期メモリの統合により、クラウドからのメモリ同期を待つことなく、ユーザーのリクエストにリアルタイムで応答することができます。
Wikitext と Pile のサブセットに関する私たちの実験では、HybridRAG がクラウドベースの検索拡張 LLM よりも低いレイテンシを達成しながら、ユーティリティにおいてクライアントのみのモデルを上回るパフォーマンスを示していることがわかりました。

要約(オリジナル)

Retrieval augmented models show promise in enhancing traditional language models by improving their contextual understanding, integrating private data, and reducing hallucination. However, the processing time required for retrieval augmented large language models poses a challenge when applying them to tasks that require real-time responses, such as composition assistance. To overcome this limitation, we propose the Hybrid Retrieval-Augmented Generation (HybridRAG) framework that leverages a hybrid setting that combines both client and cloud models. HybridRAG incorporates retrieval-augmented memory generated asynchronously by a Large Language Model (LLM) in the cloud. By integrating this retrieval augmented memory, the client model acquires the capability to generate highly effective responses, benefiting from the LLM’s capabilities. Furthermore, through asynchronous memory integration, the client model is capable of delivering real-time responses to user requests without the need to wait for memory synchronization from the cloud. Our experiments on Wikitext and Pile subsets show that HybridRAG achieves lower latency than a cloud-based retrieval-augmented LLM, while outperforming client-only models in utility.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google