Unconditional Truthfulness: Learning Conditional Dependency for Uncertainty Quantification of Large Language Models

要約

不確実性定量化 (UQ) は、大規模言語モデル (LLM) の幻覚と低品質の出力を検出するための視点からのアプローチです。
この研究では、LLM の生成ステップ間の条件付き依存関係から生じる、生成タスクにおける UQ の課題の 1 つに対処します。
私たちは、この依存関係をデータから学習することを提案します。
回帰モデルをトレーニングします。このターゲット変数は、条件付き生成信頼度と無条件生成信頼度の間のギャップです。
LLM 推論中、この学習された条件依存モデルを使用して、前のステップの不確実性に基づいて現在の生成ステップの不確実性を調整します。
9 つのデータセットと 3 つの LLM に対する実験的評価では、提案された方法が不確実性の定量化に非常に効果的であり、競合するアプローチよりも大幅な改善を達成していることが示されています。

要約(オリジナル)

Uncertainty quantification (UQ) is a perspective approach to detecting Large Language Model (LLM) hallucinations and low quality output. In this work, we address one of the challenges of UQ in generation tasks that arises from the conditional dependency between the generation steps of an LLM. We propose to learn this dependency from data. We train a regression model, which target variable is the gap between the conditional and the unconditional generation confidence. During LLM inference, we use this learned conditional dependency model to modulate the uncertainty of the current generation step based on the uncertainty of the previous step. Our experimental evaluation on nine datasets and three LLMs shows that the proposed method is highly effective for uncertainty quantification, achieving substantial improvements over rivaling approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google