Knowledgeable-r1: Policy Optimization for Knowledge Exploration in Retrieval-Augmented Generation

要約

検索された生成（RAG）は、知識集約型タスクのパフォーマンスを改善するための主流の方法です。
ただし、現在のRAGシステムは、取得されたコンテキストに重点を置きすぎることがよくあります。
これは、特に誤解を招くまたは過度の情報に対処する場合、不正確な情報源への依存につながり、モデルの固有の知識を見落とす可能性があります。
この不均衡を解決するために、共同サンプリングを使用して知識能力探索におけるマルチポリシー分布を定義して、パラメトリックおよびコンテキストナレッジの大規模な言語モデルの自己統合された利用を刺激することを提案します。
実験は、知識豊富なR1がパラメーターとコンテキスト競合タスクと一般的なラグタスクの両方で堅牢性と推論の精度を大幅に向上させることを示しています。
私たちのコードは、https：//github.com/lcy80366872/ nowledgable-r1で入手できます。

要約(オリジナル)

Retrieval-augmented generation (RAG) is a mainstream method for improving performance on knowledge-intensive tasks. However,current RAG systems often place too much emphasis on retrieved contexts. This can lead to reliance on inaccurate sources and overlook the model’s inherent knowledge, especially when dealing with misleading or excessive information. To resolve this imbalance, we propose Knowledgeable-r1 that using joint sampling and define multi policy distributions in knowledge capability exploration to stimulate large language models’self-integrated utilization of parametric and contextual knowledge. Experiments show that Knowledgeable-r1 significantly enhances robustness and reasoning accuracy in both parameters and contextual conflict tasks and general RAG tasks, especially outperforming baselines by 17.07% in counterfactual scenarios and demonstrating consistent gains across RAG tasks. Our code are available at https://github.com/lcy80366872/ knowledgeable-r1.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google