Bridging External and Parametric Knowledge: Mitigating Hallucination of LLMs with Shared-Private Semantic Synergy in Dual-Stream Knowledge

要約

検索された生成（RAG）は、検索した外部知識を生成プロセスに組み込むことにより、大規模な言語モデル（LLM）の幻覚を軽減するための費用対効果の高いアプローチです。
ただし、外部の知識は、LLMのパラメトリック知識と矛盾する場合があります。
さらに、現在のLLMは、このような知識の競合を解決するための固有のメカニズムを欠いており、従来のぼろきれの方法が劣化したパフォーマンスと安定性に苦しんでいます。
したがって、共有対象のセマンティックシナジー（DSSP-RAG）のためのデュアルストリームの知識補給フレームワークを提案します。
フレームワークの中心は、自己能力を洗練し、複合アテナンスを促進する新しいアプローチであり、制御された内部外部知識統合のための共有と私的セマンティクスを際立たせます。
DSSPをRAGで効果的に促進するために、認知的不確実性に基づいて監視されていない幻覚検出方法を導入し、知識を導入する必要性を確保し、注意差マトリックスに基づいて、回収された外部知識のノイズを減らすことができます。
ベンチマークデータセットでの広範な実験は、DSSP-RAGが競合を効果的に解決し、デュアルストリーム知識の相補性を高めることができ、強力なベースラインよりも優れたパフォーマンスにつながることを示しています。

要約(オリジナル)

Retrieval-augmented generation (RAG) is a cost-effective approach to mitigate the hallucination of Large Language Models (LLMs) by incorporating the retrieved external knowledge into the generation process. However, external knowledge may conflict with the parametric knowledge of LLMs. Furthermore, current LLMs lack inherent mechanisms for resolving such knowledge conflicts, making traditional RAG methods suffer from degraded performance and stability. Thus, we propose a Dual-Stream Knowledge-Augmented Framework for Shared-Private Semantic Synergy (DSSP-RAG). Central to the framework is a novel approach that refines self-attention into a mixed-attention, distinguishing shared and private semantics for a controlled internal-external knowledge integration. To effectively facilitate DSSP in RAG, we further introduce an unsupervised hallucination detection method based on cognitive uncertainty, ensuring the necessity of introducing knowledge, and an Energy Quotient (EQ) based on attention difference matrices to reduce noise in the retrieved external knowledge. Extensive experiments on benchmark datasets show that DSSP-RAG can effectively resolve conflicts and enhance the complementarity of dual-stream knowledge, leading to superior performance over strong baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google