SEReDeEP: Hallucination Detection in Retrieval-Augmented Models via Semantic Entropy and Context-Parameter Fusion

要約

検索された生成（RAG）モデルは、外部情報を内部のパラメトリック知識と統合する際に、幻覚現象に頻繁に遭遇します。
経験的研究は、外部のコンテキスト情報と内部パラメトリック知識との不均衡が幻覚生成の主要な要因であることを示しています。
既存の幻覚検出方法論は、主に外部または内部のメカニズムを単独で強調し、それによって相乗効果を見落としています。
最近提案されたRedeepフレームワークは、これらのデュアルメカニズムを切り離し、幻覚への2つの重要な貢献者を特定します。フィードフォワードネットワーク（FFN）でエンコードされたパラメトリック知識への過度の依存と、注意メカニズムによる外部情報の利用不足（特にコピーヘッド）。
幻覚を検出するためにこれらの要因を定量的に評価し、FFNの寄与を動的に調節し、頭をコピーして発生を減衰させます。
それにもかかわらず、ロジットレベルの不確実性の推定または言語レベルの自己整合性評価では、モデル応答のセマンティックディメンションに不十分に対処し、RAG実装における一貫性のない幻覚評価に対処するために、ロジットレベルの不確実性の推定または言語レベルの自己整合性評価で、再lepやその他の多くの幻覚検出アプローチが採用されています。
Redeepの基礎に基づいて、このペーパーでは、訓練された線形プローブを介してキャプチャされたセマンティックエントロピーを介して計算プロセスを強化するSeredeepを紹介し、それにより、グラウンドトゥルース評価をより正確に反映する幻覚評価を実現します。

要約(オリジナル)

Retrieval-Augmented Generation (RAG) models frequently encounter hallucination phenomena when integrating external information with internal parametric knowledge. Empirical studies demonstrate that the disequilibrium between external contextual information and internal parametric knowledge constitutes a primary factor in hallucination generation. Existing hallucination detection methodologies predominantly emphasize either the external or internal mechanism in isolation, thereby overlooking their synergistic effects. The recently proposed ReDeEP framework decouples these dual mechanisms, identifying two critical contributors to hallucinations: excessive reliance on parametric knowledge encoded in feed-forward networks (FFN) and insufficient utilization of external information by attention mechanisms (particularly copy heads). ReDeEP quantitatively assesses these factors to detect hallucinations and dynamically modulates the contributions of FFNs and copy heads to attenuate their occurrence. Nevertheless, ReDeEP and numerous other hallucination detection approaches have been employed at logit-level uncertainty estimation or language-level self-consistency evaluation, inadequately address the semantic dimensions of model responses, resulting in inconsistent hallucination assessments in RAG implementations. Building upon ReDeEP’s foundation, this paper introduces SEReDeEP, which enhances computational processes through semantic entropy captured via trained linear probes, thereby achieving hallucination assessments that more accurately reflect ground truth evaluations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google