PrefRAG: Preference-Driven Multi-Source Retrieval Augmented Generation

要約

検索された生成（RAG）は、大規模な言語モデル（LLM）の幻覚の問題とパラメーター化された知識の制限を緩和するための信頼できる外部知識増強技術として浮上しています。
既存の適応ラグ（ARAG）システムは、単一のソース内で詳細な探索に優れていますが、内部の知識機能を予見できないため、さまざまな検索ソースを効果的かつ制御できるように探索するのに苦労しています。
私たちは、嗜好駆動型の適応検索と自己反省を通じて、多様な検索ソースの詳細かつ制御可能な調査を可能にすることにより、RAGを強化するPreFragである新しいマルチソースARAGシステムを開発します。
PREFRAGは、最初に適応性のある検索およびサプリメントの制御可能なローカルソースを完全に検討し、必要に応じてWebを使用して、最終的に知識観察の最適なソースを選択します。
その後、PreFragは、質の高いフィードバックに回答して検索プロセスにフィードを与え、それを生成の観点から最適化して高品質の応答を生成します。
広範な実験では、その優位性、高い検索効率、および知識の制御可能性を確認します。
PreFragは、バニララグと主要なMS-Aragをそれぞれ最大25.6％と13.9％上回ります。
さらに、DPOでトレーニングされたPreFragは、より高いパフォーマンスを達成します。
コードとデータは、https：//github.com/qingfei1/prefrag.gitで入手できます。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) has emerged as a reliable external knowledge augmentation technique to mitigate hallucination issues and parameterized knowledge limitations in Large Language Models (LLMs). Existing adaptive RAG (ARAG) systems excel at in-depth exploration within a single source but struggle to effectively and controllably explore different retrieval sources, as they fail to foresee their internal knowledge features. We develop a novel multi-source ARAG system, PrefRAG, which enhances RAG by enabling in-depth and controllable exploration of diverse retrieval sources through preference-driven adaptive retrieval and self-reflection. PrefRAG first fully explores controllable local sources in adaptive retrieval and supplements with the web when appropriate, ultimately selecting the optimal source for knowledge observation. Subsequently, PrefRAG feeds answer quality feedback into the retrieval process, optimizing it from the generation perspective to produce higher-quality responses. Extensive experiments confirm its superiority, high retrieval efficiency, and knowledge controllability. PrefRAG outperforms Vanilla RAG and the leading MS-ARAG by up to 25.6% and 13.9% respectively. Additionally, PrefRAG trained with DPO achieves higher performance. The code and data are available at https://github.com/QingFei1/PrefRAG.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google