Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus

要約

大規模言語モデル (LLM) は、さまざまな分野にわたって優れたパフォーマンスを発揮するため、非常に人気が高まっています。
ただし、LLM は、現実世界の多くのアプリケーションでユーザーの期待に応えられない、虚偽または無意味な出力を幻覚する傾向があります。
LLM で幻覚を検出するための既存の研究は、参照検索のために外部知識に依存するか、一貫性検証のために LLM からの複数の応答をサンプリングする必要があるため、これらの方法はコストがかかり非効率的です。
この論文では、LLM の幻覚を検出するための、リファレンスフリーで不確実性に基づいた新しい方法を提案します。
私たちのアプローチは、次の 3 つの側面から事実確認における人間の焦点を模倣しています。1) 与えられたテキスト内の最も有益で重要なキーワードに焦点を当てます。
2) 幻覚の連鎖を引き起こす可能性のある、歴史的文脈において信頼性の低いトークンに焦点を当てる。
3) トークンの種類やトークンの頻度などのトークンのプロパティに焦点を当てます。
関連するデータセットの実験結果は、すべての評価指標にわたって最先端のパフォーマンスを達成し、追加情報の必要性を排除する、私たちの提案した方法の有効性を示しています。

要約(オリジナル)

Large Language Models (LLMs) have gained significant popularity for their impressive performance across diverse fields. However, LLMs are prone to hallucinate untruthful or nonsensical outputs that fail to meet user expectations in many real-world applications. Existing works for detecting hallucinations in LLMs either rely on external knowledge for reference retrieval or require sampling multiple responses from the LLM for consistency verification, making these methods costly and inefficient. In this paper, we propose a novel reference-free, uncertainty-based method for detecting hallucinations in LLMs. Our approach imitates human focus in factuality checking from three aspects: 1) focus on the most informative and important keywords in the given text; 2) focus on the unreliable tokens in historical context which may lead to a cascade of hallucinations; and 3) focus on the token properties such as token type and token frequency. Experimental results on relevant datasets demonstrate the effectiveness of our proposed method, which achieves state-of-the-art performance across all the evaluation metrics and eliminates the need for additional information.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google