Rethinking Uncertainty Estimation in Natural Language Generation

要約

大規模言語モデル (LLM) は現実世界のアプリケーションで採用されることが増えており、生成されたテキストの信頼性を評価する必要性が高まっています。
この目的を達成するには、信頼性の高い不確実性の推定が不可欠です。
現在の LLM は確率的プロセスを通じて自己回帰的にテキストを生成するため、同じプロンプトがさまざまな出力を引き起こす可能性があります。
したがって、主要な不確実性推定方法では、複数の出力シーケンスを生成および分析して、LLM の不確実性を決定します。
ただし、出力シーケンスの生成には計算コストがかかるため、これらの方法は大規模には実用的ではありません。
この研究では、主要な手法の理論的基礎を検証し、その計算効率を高めるための新しい方向性を探ります。
適切なスコアリング ルールのフレームワークに基づいて、最も可能性の高い出力シーケンスの負の対数尤度が理論的に根拠のある不確実性の尺度を構成することがわかりました。
この代替手段を近似するために、G-NLL を提案します。G-NLL には、貪欲な復号化によって生成された単一の出力シーケンスのみを使用して取得されるという利点があります。
これにより、理論的な厳密性を維持しながら、不確実性の推定がより効率的かつ簡単になります。
実証結果は、G-NLL がさまざまな LLM およびタスクにわたって最先端のパフォーマンスを達成することを示しています。
私たちの研究は、自然言語生成における効率的かつ信頼性の高い不確実性推定の基礎を築き、現在この分野をリードしている、より計算を伴う手法の必要性に挑戦しています。

要約(オリジナル)

Large Language Models (LLMs) are increasingly employed in real-world applications, driving the need to evaluate the trustworthiness of their generated text. To this end, reliable uncertainty estimation is essential. Since current LLMs generate text autoregressively through a stochastic process, the same prompt can lead to varying outputs. Consequently, leading uncertainty estimation methods generate and analyze multiple output sequences to determine the LLM’s uncertainty. However, generating output sequences is computationally expensive, making these methods impractical at scale. In this work, we inspect the theoretical foundations of the leading methods and explore new directions to enhance their computational efficiency. Building on the framework of proper scoring rules, we find that the negative log-likelihood of the most likely output sequence constitutes a theoretically grounded uncertainty measure. To approximate this alternative measure, we propose G-NLL, which has the advantage of being obtained using only a single output sequence generated by greedy decoding. This makes uncertainty estimation more efficient and straightforward, while preserving theoretical rigor. Empirical results demonstrate that G-NLL achieves state-of-the-art performance across various LLMs and tasks. Our work lays the foundation for efficient and reliable uncertainty estimation in natural language generation, challenging the necessity of more computationally involved methods currently leading the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google