FaithfulRAG: Fact-Level Conflict Modeling for Context-Faithful Retrieval-Augmented Generation

要約

検索システムで増強された大規模な言語モデル（LLMS）は、知識集約型タスクの処理において重大な可能性を示しています。
ただし、これらのモデルは不忠実さの問題に苦労し、検索されたコンテキストを無視する出力を生成するか、LLMのパラメトリックな知識と一貫性のないブレンドを生成します。
この問題は、検索されたコンテキストがモデルのパラメトリック知識と矛盾する知識の競合の場合に特に深刻です。
既存の忠実なぼろきれアプローチは、適切に設計されたプロンプトまたは修正されたデコード戦略を通じて厳格なコンテキストの順守を強制しますが、分析は重要な制限を明らかにします。モデルの内部知識構造を弱体化させ、コンテキストを誤解させるリスクを高めるモデルのパラメトリック知識を強制的に抑制することで忠実さを達成します。
この目的のために、このペーパーでは、モデルのパラメトリック知識と取得されたコンテキストの間の不一致を明示的にモデル化することにより、知識の競合を解決する新しいフレームワークである忠実なフレームワークを提案します。
具体的には、忠実なことは、事実レベルで矛盾する知識を特定し、自己考えのプロセスを設計し、LLMが対立する事実について推論し、応答を生成する前に統合できるようにします。
広範な実験は、私たちの方法が最先端の方法よりも優れていることを示しています。
このコードは、https：// github.com/deeplearnxmu/faithful-ragで入手できます

要約(オリジナル)

Large language models (LLMs) augmented with retrieval systems have demonstrated significant potential in handling knowledge-intensive tasks. However, these models often struggle with unfaithfulness issues, generating outputs that either ignore the retrieved context or inconsistently blend it with the LLM`s parametric knowledge. This issue is particularly severe in cases of knowledge conflict, where the retrieved context conflicts with the model`s parametric knowledge. While existing faithful RAG approaches enforce strict context adherence through well-designed prompts or modified decoding strategies, our analysis reveals a critical limitation: they achieve faithfulness by forcibly suppressing the model`s parametric knowledge, which undermines the model`s internal knowledge structure and increases the risk of misinterpreting the context. To this end, this paper proposes FaithfulRAG, a novel framework that resolves knowledge conflicts by explicitly modeling discrepancies between the model`s parametric knowledge and retrieved context. Specifically, FaithfulRAG identifies conflicting knowledge at the fact level and designs a self-thinking process, allowing LLMs to reason about and integrate conflicting facts before generating responses. Extensive experiments demonstrate that our method outperforms state-of-the-art methods. The code is available at https:// github.com/DeepLearnXMU/Faithful-RAG

arxiv情報

提供元, 利用サービス

arxiv.jp, Google