How Does Knowledge Selection Help Retrieval Augmented Generation?

要約

検索された生成（RAG）は、外部の知識をモデルの出力に統合することにより、自然言語生成を強化するための強力な方法です。
以前の研究では、生成品質を高めるための知識の検索を改善することの重要性が実証されていますが、知識選択の役割は明らかではありません。
このペーパーでは、知識の選択がRAGシステムの下流の生成パフォーマンスにどのように影響するかを経験的に分析します。
金と気圧装置の知識の制御された混合物を通じて、さまざまな検索と選択条件をシミュレートすることにより、これらの要因が生成結果に与える影響を評価します。
私たちの調査結果は、下流のジェネレーターモデルの機能とタスクとデータセットの複雑さが、RAGシステム全体のパフォーマンスに対する知識選択の影響に大きく影響することを示しています。
典型的なシナリオでは、知識リコールスコアを改善することは、生成結果を強化するための鍵であり、明確で明確に定義されたタスクで強力なジェネレーターモデルが使用される場合、知識セレクターが限られた利点を提供します。
より弱い発電機モデルまたはより曖昧なタスクとデータセットの場合、知識F1スコアが重要な要因になり、知識セレクターが全体的なパフォーマンスを改善する上でより顕著な役割を果たします。

要約(オリジナル)

Retrieval-augmented generation (RAG) is a powerful method for enhancing natural language generation by integrating external knowledge into a model’s output. While prior work has demonstrated the importance of improving knowledge retrieval for boosting generation quality, the role of knowledge selection remains less clear. This paper empirically analyzes how knowledge selection influences downstream generation performance in RAG systems. By simulating different retrieval and selection conditions through a controlled mixture of gold and distractor knowledge, we assess the impact of these factors on generation outcomes. Our findings indicate that the downstream generator model’s capability, as well as the complexity of the task and dataset, significantly influence the impact of knowledge selection on the overall RAG system performance. In typical scenarios, improving the knowledge recall score is key to enhancing generation outcomes, with the knowledge selector providing limited benefit when a strong generator model is used on clear, well-defined tasks. For weaker generator models or more ambiguous tasks and datasets, the knowledge F1 score becomes a critical factor, and the knowledge selector plays a more prominent role in improving overall performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google