Learning to Filter Context for Retrieval-Augmented Generation

要約

関連する知識をその場で検索できることは、オープンドメインの質問応答や事実確認などのタスクのための信頼できるシステムの不可欠な要素であることが証明されています。
ただし、検索システムは完璧ではないため、部分的または完全に無関係なパッセージが与えられた場合に出力を生成するには、生成モデルが必要です。
これにより、コンテキストへの過度の依存または過小依存が発生し、生成された出力に幻覚などの問題が発生する可能性があります。
これらの問題を軽減するために、我々は、(1) 語彙的および情報理論的アプローチに基づいて有用なコンテキストを特定し、(2) 取得されたコンテキストをフィルタリングできるコンテキスト フィルタリング モデルをトレーニングすることによって、ジェネレータに提供されるコンテキストの品質を向上させる方法である FILCO を提案します。
テスト時のコンテキスト。
私たちは、FLAN-T5 と LLaMa2 を使用して 6 つの知識集約型タスクを実験し、抽出的質問応答 (QA)、複雑なマルチホップおよび長文 QA、事実検証、およびダイアログ生成タスクにおいて、私たちの方法が既存のアプローチよりも優れていることを実証しました。
FILCO は、正規の出力をサポートしているかどうかに関係なく、コンテキストの品質を効果的に向上させます。

要約(オリジナル)

On-the-fly retrieval of relevant knowledge has proven an essential element of reliable systems for tasks such as open-domain question answering and fact verification. However, because retrieval systems are not perfect, generation models are required to generate outputs given partially or entirely irrelevant passages. This can cause over- or under-reliance on context, and result in problems in the generated output such as hallucinations. To alleviate these problems, we propose FILCO, a method that improves the quality of the context provided to the generator by (1) identifying useful context based on lexical and information-theoretic approaches, and (2) training context filtering models that can filter retrieved contexts at test time. We experiment on six knowledge-intensive tasks with FLAN-T5 and LLaMa2, and demonstrate that our method outperforms existing approaches on extractive question answering (QA), complex multi-hop and long-form QA, fact verification, and dialog generation tasks. FILCO effectively improves the quality of context, whether or not it supports the canonical output.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google