Fact-Checking the Output of Large Language Models via Token-Level Uncertainty Quantification

要約

大規模言語モデル (LLM) は、幻覚を引き起こすことで悪名高く、出力内に誤った主張が生成されます。
このような幻覚は危険である可能性があります。生成されたテキストの時折の事実上の不正確さは、出力の残りの部分がほぼ事実であることによって覆い隠され、ユーザーがそれらを見つけるのが非常に困難になる可能性があるためです。
LLM を利用する現在のサービスは、通常、信頼性の低い世代を検出する手段を提供しません。
ここでは、このギャップを埋めることを目指しています。
特に、トークンレベルの不確実性の定量化に基づいた、新しいファクトチェックおよび幻覚検出パイプラインを提案します。
不確実性スコアは、ニューラル ネットワークまたはその層の出力にカプセル化された情報を活用して、信頼性の低い予測を検出します。また、不確実性スコアを使用して、LLM 出力内のアトミック クレームをファクト チェックできることを示します。
さらに、現在のステップでどのクレームを生成するか、どの表面形状を使用するかについての不確実性の影響を除去する、新しいトークンレベルの不確実性の定量化方法を提案します。
私たちの手法であるクレーム条件付き確率 (CCP) は、モデルによって表現される特定のクレーム値の不確実性のみを測定します。
伝記生成タスクに関する実験では、6 つの異なる LLM と 3 つの言語のベースラインと比較して、CCP の大幅な改善が実証されました。
人間による評価では、不確実性の定量化に基づくファクトチェック パイプラインが、外部の知識を活用するファクト チェック ツールと競合できることが明らかになりました。

要約(オリジナル)

Large language models (LLMs) are notorious for hallucinating, i.e., producing erroneous claims in their output. Such hallucinations can be dangerous, as occasional factual inaccuracies in the generated text might be obscured by the rest of the output being generally factual, making it extremely hard for the users to spot them. Current services that leverage LLMs usually do not provide any means for detecting unreliable generations. Here, we aim to bridge this gap. In particular, we propose a novel fact-checking and hallucination detection pipeline based on token-level uncertainty quantification. Uncertainty scores leverage information encapsulated in the output of a neural network or its layers to detect unreliable predictions, and we show that they can be used to fact-check the atomic claims in the LLM output. Moreover, we present a novel token-level uncertainty quantification method that removes the impact of uncertainty about what claim to generate on the current step and what surface form to use. Our method Claim Conditioned Probability (CCP) measures only the uncertainty of particular claim value expressed by the model. Experiments on the task of biography generation demonstrate strong improvements for CCP compared to the baselines for six different LLMs and three languages. Human evaluation reveals that the fact-checking pipeline based on uncertainty quantification is competitive with a fact-checking tool that leverages external knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google