Attention-guided Self-reflection for Zero-shot Hallucination Detection in Large Language Models

要約

幻覚は、大規模言語モデル (LLM) の効果的な適用に対する大きな障壁として浮上しています。
この研究では、LLM におけるゼロショット幻覚検出のための新しい注意誘導自己反射 (AGSER) アプローチを紹介します。
AGSER メソッドは、アテンションの寄与を利用して、入力クエリを注意力のあるクエリと非注意力のあるクエリに分類します。
その後、各クエリは LLM を通じて個別に処理され、生成された応答と元の応答の間の一貫性スコアを計算できるようになります。
2 つの一貫性スコアの差は、幻覚の推定値として機能します。
AGSER は、幻覚の検出における有効性に加えて、LLM を 3 回通過するだけで済み、2 セットのトークンを利用するだけで計算の複雑さが大幅に軽減されます。
私たちは、3 つの異なる幻覚ベンチマークにわたって 4 つの広く使用されている LLM を使用して広範な実験を実施し、ゼロショット幻覚検出において、私たちのアプローチが既存の方法よりも大幅に優れていることを実証しました。

要約(オリジナル)

Hallucination has emerged as a significant barrier to the effective application of Large Language Models (LLMs). In this work, we introduce a novel Attention-Guided SElf-Reflection (AGSER) approach for zero-shot hallucination detection in LLMs. The AGSER method utilizes attention contributions to categorize the input query into attentive and non-attentive queries. Each query is then processed separately through the LLMs, allowing us to compute consistency scores between the generated responses and the original answer. The difference between the two consistency scores serves as a hallucination estimator. In addition to its efficacy in detecting hallucinations, AGSER notably reduces computational complexity, requiring only three passes through the LLM and utilizing two sets of tokens. We have conducted extensive experiments with four widely-used LLMs across three different hallucination benchmarks, demonstrating that our approach significantly outperforms existing methods in zero-shot hallucination detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google