PAC Neural Prediction Set Learning to Quantify the Uncertainty of Generative Language Models

要約

モデルの不確実性の学習と定量化は、モデルの信頼性を高めるための重要なタスクです。
重要なのは、最近の生成言語モデル (GLM) の急増により、幻覚的な事実の生成に対する懸念から、信頼できる不確実性の定量化の必要性が強調されていることです。
この論文では、GLM の不確実性を定量化するためのおそらくほぼ正しい (PAC) 保証を備えたニューラル予測セット モデルを学習することを提案します。
スカラー値によってパラメータ化される既存の予測セット モデルとは異なり、ニューラル ネットワークを介して予測セットをパラメータ化することを提案します。これにより、より正確な不確実性の定量化が達成されながらも、PAC 保証は満たされます。
標準的なベースライン手法と比較して、定量化された不確実性が平均 $63\%$ 改善されることを示すことで、4 種類の言語データセットと 6 種類のモデルに対する手法の有効性を実証します。

要約(オリジナル)

Uncertainty learning and quantification of models are crucial tasks to enhance the trustworthiness of the models. Importantly, the recent surge of generative language models (GLMs) emphasizes the need for reliable uncertainty quantification due to the concerns on generating hallucinated facts. In this paper, we propose to learn neural prediction set models that comes with the probably approximately correct (PAC) guarantee for quantifying the uncertainty of GLMs. Unlike existing prediction set models, which are parameterized by a scalar value, we propose to parameterize prediction sets via neural networks, which achieves more precise uncertainty quantification but still satisfies the PAC guarantee. We demonstrate the efficacy of our method on four types of language datasets and six types of models by showing that our method improves the quantified uncertainty by $63\%$ on average, compared to a standard baseline method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google