Ext2Gen: Alignment through Unified Extraction and Generation for Robust Retrieval-Augmented Generation

要約

検索された生成（RAG）は、外部の知識を統合することによりLLMを強化しますが、関連するチャンクの不確実な配置と検索誘発情報過負荷の不確実な配置により、生成は脆弱なままであり、幻覚につながります。
回答を生成する前にクエリ関連の文を最初に抽出することにより、ぼろきれの堅牢性を高める新しい抽出物から系統のモデルであるExt2Genを提案します。
このモデルを最適化するために、ペアワイズフィードバック学習を通じて優先順位アラインメントを採用し、検索結果のバリエーションに関係なく、モデルが堅牢な回答を生成できるようにします。
広範な実験は、Ext2Genが高精度とリコールでクエリ関連の文を効果的に特定し、非常に信頼性の高い答えにつながることを示しています。
さらに、ラグ環境にモデルを展開すると、ベースLLMのパフォーマンスが向上するだけでなく、クエリ拡張などの高度な検索戦略と相乗的になることが明らかになります。
このモデルは、https：//huggingface.co/dislab/ext2gen-8b-r2で入手できます。

要約(オリジナル)

Retrieval-augmented generation (RAG) enhances LLMs by integrating external knowledge, but generation remains fragile due to the uncertain placement of relevant chunks and retrieval-induced information overload, leading to hallucinations. We propose Ext2Gen, a novel extract-then-generate model that enhances RAG robustness by first extracting query-relevant sentences before generating answers. To optimize this model, we employ preference alignment through pairwise feedback learning, enabling the model to generate robust answers regardless of variations in retrieval results. Extensive experiments demonstrate that Ext2Gen effectively identifies query-relevant sentences with high precision and recall, leading to highly reliable answers. Furthermore, deploying our model in a RAG environment reveals that it not only boosts the performance of the base LLM but also synergizes with advanced retrieval strategies like query expansion. The model is available at https://huggingface.co/DISLab/Ext2Gen-8B-R2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google