Revisiting Uncertainty Quantification Evaluation in Language Models: Spurious Interactions with Response Length Bias Results

要約

言語モデル（LMS）の不確実性の定量化（UQ）は、安全性と信頼性を改善するための鍵です。
多くの場合、AUROCのようなメトリックを使用して、UQメソッド（ネガティブシーケンス確率など）がタスクの正しさ関数（例：Rouge-L）とどれだけ適しているかを評価します。
UQメソッドと正確性関数の両方が同じ要因によってバイアスされている場合、相互のバイアスが体系的に歪んでいることを示します。
第一に、相互のバイアスが非ランダムなバイアスがオーロックランキングをゆがめ、ベンチマークの完全性を損なうことを正式に証明します。
第二に、これは、語彙ベースおよび埋め込みベースのメトリックから、4つのデータセットx 4モデルx 8 UQメソッドを越えて、語彙ベースおよび埋め込みベースのメトリックからLM-a-a-a-judgeアプローチまで、7つの広く使用されている正確性関数をテストすることにより、経験的に発生することを確認します。
私たちの分析は、正確さ関数の長さのバイアスがUQメソッドの長さバイアスと相互作用することにより、UQ評価を歪めることを示しています。
LM-as-a-judgeメソッドを最も長さが偏っていないことを特定し、より公平なUQ評価のための有望なパスを提供します。

要約(オリジナル)

Uncertainty Quantification (UQ) in Language Models (LMs) is key to improving their safety and reliability. Evaluations often use metrics like AUROC to assess how well UQ methods (e.g., negative sequence probabilities) correlate with task correctness functions (e.g., ROUGE-L). We show that mutual biases–when both UQ methods and correctness functions are biased by the same factors–systematically distort evaluation. First, we formally prove that any mutual bias non-randomly skews AUROC rankings, compromising benchmark integrity. Second, we confirm this happens empirically by testing 7 widely used correctness functions, from lexical-based and embedding-based metrics to LM-as-a-judge approaches, across 4 datasets x 4 models x 8 UQ methods. Our analysis shows that length biases in correctness functions distort UQ assessments by interacting with length biases in UQ methods. We identify LM-as-a-judge methods as the least length-biased, offering a promising path for a fairer UQ evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google