Token-Level Density-Based Uncertainty Quantification Methods for Eliciting Truthfulness of Large Language Models

要約

不確実性の定量化（UQ）は、大規模な言語モデル（LLM）から真実の答えを引き出すための顕著なアプローチです。
これまで、情報ベースおよび一貫性ベースのUQは、LLMを介したテキスト生成の支配的なUQメソッドです。
密度ベースの方法は、エンコーダーベースのモデルを使用したテキスト分類においてUQに非常に効果的であるにもかかわらず、生成LLMであまり成功していません。
この作業では、テキスト生成のために、分類タスクに確立されたUQ技術であるマハラノビス距離（MD）を適応させ、新しい監視されたUQメソッドを紹介します。
私たちのメソッドは、LLMの複数の層からトークンの埋め込みを抽出し、各トークンのMDスコアを計算し、これらの機能でトレーニングされた線形回帰を使用して、堅牢な不確実性スコアを提供します。
11のデータセットでの広範な実験を通じて、私たちのアプローチが既存のUQメソッドよりも大幅に改善され、シーケンスレベルの選択的生成とクレームレベルのファクトチェックタスクの両方で正確で計算効率の高い不確実性スコアを提供することを実証します。
また、私たちの方法は、ドメイン外データに強力な一般化を示しており、LLMベースの幅広いアプリケーションに適しています。

要約(オリジナル)

Uncertainty quantification (UQ) is a prominent approach for eliciting truthful answers from large language models (LLMs). To date, information-based and consistency-based UQ have been the dominant UQ methods for text generation via LLMs. Density-based methods, despite being very effective for UQ in text classification with encoder-based models, have not been very successful with generative LLMs. In this work, we adapt Mahalanobis Distance (MD) – a well-established UQ technique in classification tasks – for text generation and introduce a new supervised UQ method. Our method extracts token embeddings from multiple layers of LLMs, computes MD scores for each token, and uses linear regression trained on these features to provide robust uncertainty scores. Through extensive experiments on eleven datasets, we demonstrate that our approach substantially improves over existing UQ methods, providing accurate and computationally efficient uncertainty scores for both sequence-level selective generation and claim-level fact-checking tasks. Our method also exhibits strong generalization to out-of-domain data, making it suitable for a wide range of LLM-based applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google