Fact-Level Confidence Calibration and Self-Correction

要約

LLM の信頼度調整。つまり、自己評価した信頼度を応答の実際の精度と一致させ、出力の正確さを自己評価できるようにします。
ただし、LLM の現在のキャリブレーション方法は通常、応答全体の信頼性と正確性を表す 2 つのスカラーを推定します。これは、応答に複数のアトミック ファクトが含まれ、部分的に信頼性と正確性が得られる可能性がある長い形式の生成には不十分です。
これらの方法では、クエリに対する各ファクトの関連性も見逃されます。
これらの課題に対処するために、私たちは、より細かい粒度で動作し、事実レベルで関連性を重み付けした正しさに対する信頼度を調整する、事実レベルの調整フレームワークを提案します。
さらに、このフレームワークに基づく包括的な分析は、信頼度に基づく事実レベルの自己修正 ($\textbf{ConFix}$) の開発に影響を与えました。これは、応答内の信頼性の高い事実を追加の知識として使用して、信頼性の低い事実を改善します。
4 つのデータセットと 6 つのモデルにわたる広範な実験により、ConFix が検索システムなどの外部知識ソースを必要とせずに幻覚を効果的に軽減できることが実証されました。

要約(オリジナル)

Confidence calibration in LLMs, i.e., aligning their self-assessed confidence with the actual accuracy of their responses, enabling them to self-evaluate the correctness of their outputs. However, current calibration methods for LLMs typically estimate two scalars to represent overall response confidence and correctness, which is inadequate for long-form generation where the response includes multiple atomic facts and may be partially confident and correct. These methods also overlook the relevance of each fact to the query. To address these challenges, we propose a Fact-Level Calibration framework that operates at a finer granularity, calibrating confidence to relevance-weighted correctness at the fact level. Furthermore, comprehensive analysis under the framework inspired the development of Confidence-Guided Fact-level Self-Correction ($\textbf{ConFix}$), which uses high-confidence facts within a response as additional knowledge to improve low-confidence ones. Extensive experiments across four datasets and six models demonstrate that ConFix effectively mitigates hallucinations without requiring external knowledge sources such as retrieval systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google