Monte Carlo Temperature: a robust sampling strategy for LLM’s uncertainty quantification methods

要約

大規模な言語モデル（LLMS）の不確実性の定量化（UQ）は、特に誤った出力が深刻な結果をもたらす重要なアプリケーションでは、安全で信頼できる展開に不可欠です。
現在のUQメソッドは、通常、非ゼロ温度サンプリングを使用してモデルを複数回クエリすることに依存して、不確実性の推定のために多様な出力を生成します。
ただし、特定の温度パラメーターを選択することの影響は研究されており、私たちの分析により、温度が不確実性の推定の質に基本的な役割を果たすことが明らかになりました。
最適な温度値を識別する従来のアプローチには、新しいモデルデータセットの組み合わせごとに繰り返す必要がある高価なハイパーパラメーター最適化（HPO）が必要です。
温度キャリブレーションの必要性を排除する堅牢なサンプリング戦略であるモンテカルロ温度（MCT）を提案します。
1）MCTは、広範囲の温度でより堅牢な不確実性の推定値を提供し、2）MCTはHPOに依存しない固定温度戦略を置き換えることでUQメソッドのパフォーマンスを向上させ、3）MCTは統計パリティを達成します。
Oracle温度は、よく調整されているが計算上の高価なHPOプロセスの理想的な結果を表しています。
これらの調査結果は、温度パラメーターのキャリブレーションの計算負担なしで効果的なUQを達成できることを示しています。

要約(オリジナル)

Uncertainty quantification (UQ) in Large Language Models (LLMs) is essential for their safe and reliable deployment, particularly in critical applications where incorrect outputs can have serious consequences. Current UQ methods typically rely on querying the model multiple times using non-zero temperature sampling to generate diverse outputs for uncertainty estimation. However, the impact of selecting a given temperature parameter is understudied, and our analysis reveals that temperature plays a fundamental role in the quality of uncertainty estimates. The conventional approach of identifying optimal temperature values requires expensive hyperparameter optimization (HPO) that must be repeated for each new model-dataset combination. We propose Monte Carlo Temperature (MCT), a robust sampling strategy that eliminates the need for temperature calibration. Our analysis reveals that: 1) MCT provides more robust uncertainty estimates across a wide range of temperatures, 2) MCT improves the performance of UQ methods by replacing fixed-temperature strategies that do not rely on HPO, and 3) MCT achieves statistical parity with oracle temperatures, which represent the ideal outcome of a well-tuned but computationally expensive HPO process. These findings demonstrate that effective UQ can be achieved without the computational burden of temperature parameter calibration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google