E2E-AFG: An End-to-End Model with Adaptive Filtering for Retrieval-Augmented Generation

要約

検索された生成方法は、多くの場合、外部の知識ベースから取得されたコンテンツの品質を無視し、その結果、無関係な情報または大規模な言語モデルの生成結果に悪影響を与える潜在的な誤った情報をもたらします。
このホワイトペーパーでは、回答の存在とテキスト生成を単一のエンドツーエンドフレームワークに統合する検索された生成（E2E-AFG）の適応フィルタリングを備えたエンドツーエンドモデルを提案します。
これにより、関連するコンテンツにモデルがより効果的に焦点を合わせ、無関係な情報の影響を減らし、正確な回答を生成することができます。
6つの代表的な知識集約型言語データセットでE2E-AFGを評価し、結果は、すべてのタスクでベースラインモデルを常に上回ることを示しており、提案されたアプローチの有効性と堅牢性を示しています。

要約(オリジナル)

Retrieval-augmented generation methods often neglect the quality of content retrieved from external knowledge bases, resulting in irrelevant information or potential misinformation that negatively affects the generation results of large language models. In this paper, we propose an end-to-end model with adaptive filtering for retrieval-augmented generation (E2E-AFG), which integrates answer existence judgment and text generation into a single end-to-end framework. This enables the model to focus more effectively on relevant content while reducing the influence of irrelevant information and generating accurate answers. We evaluate E2E-AFG on six representative knowledge-intensive language datasets, and the results show that it consistently outperforms baseline models across all tasks, demonstrating the effectiveness and robustness of the proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google