Estimating LLM Uncertainty with Logits

要約

過去数年にわたって、大規模な言語モデル（LLM）は急速に開発されており、さまざまなドメインに広く適用されています。
ただし、LLMSは幻覚の問題に直面しており、モデルに関連する知識がない場合に信頼できない可能性のある応答を生成します。
潜在的な幻覚を認識するために、不確実性の推定方法が導入されており、それらのほとんどは、信頼性が重要なトークンにあることを確認しています。
ただし、確率ベースのメソッドは、トークンの信頼性を特定する際にパフォーマンスが低く、実用性を制限します。
この論文では、トレーニング段階に蓄積されている証拠強度情報の喪失により、確率ベースの方法がトークンの信頼性を推定できないことを明らかにします。
したがって、LLMSの分離されたトークンの不確実性を推定するためのフレームワークであるロジット誘発トークンの不確実性（logtoku）を提示し、複数のサンプリングプロセスを必要とせずにリアルタイムの不確実性推定を可能にします。
ログトクを実装するために証拠モデリングを採用し、推定不確実性を使用してダウンストリームタスクを導きます。
実験結果は、Logtokuが有効性と約束を持っていることを示しています。

要約(オリジナル)

Over the past few years, Large Language Models (LLMs) have developed rapidly and are widely applied in various domains. However, LLMs face the issue of hallucinations, generating responses that may be unreliable when the models lack relevant knowledge. To be aware of potential hallucinations, uncertainty estimation methods have been introduced, and most of them have confirmed that reliability lies in critical tokens. However, probability-based methods perform poorly in identifying token reliability, limiting their practical utility. In this paper, we reveal that the probability-based method fails to estimate token reliability due to the loss of evidence strength information which is accumulated in the training stage. Therefore, we present Logits-induced token uncertainty (LogTokU), a framework for estimating decoupled token uncertainty in LLMs, enabling real-time uncertainty estimation without requiring multiple sampling processes. We employ evidence modeling to implement LogTokU and use the estimated uncertainty to guide downstream tasks. The experimental results demonstrate that LogTokU has significant effectiveness and promise.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google