Probabilities of Chat LLMs Are Miscalibrated but Still Predict Correctness on Multiple-Choice Q&A

要約

我々は、チャット用に微調整された14の大規模言語モデル（LLM）を研究し、その最大ソフトマックス確率（MSP）が多肢選択式Q&Aにおいて一貫して誤較正されることを発見した。しかし、これらのMSPはまだ有用な不確実性情報を符号化している可能性がある。具体的には、誤答は正答に比べてMSPが小さくなるという仮説を立てた。厳密な統計的検定により、この仮説はQ&Aタスクで良好な結果を出すモデルで成り立つことが示された。また、Q&Aの精度とMSPの正誤予測の間には強い方向相関がある一方、Q&Aの精度とキャリブレーションエラーとの間には相関がないことがわかった。このことは、現在のファインチューニングパラダイムでは、LLMの能力が進歩するにつれて、正しさ予測は改善されるが、キャリブレーションは改善されないことを示唆している。正誤予測の有用性を実証するために、モデルが棄権するオプションを持つ場合、MSP閾値を選択するためにわずかな量のラベル付きデータのみを使用し、初期モデルの応答のMSPに基づいて選択的に棄権することにより、性能が向上することを示す。

要約(オリジナル)

We study 14 large language models (LLMs) fine-tuned for chat and find that their maximum softmax probabilities (MSPs) are consistently miscalibrated on multiple-choice Q&A. However, those MSPs might still encode useful uncertainty information. Specifically, we hypothesized that wrong answers would be associated with smaller MSPs compared to correct answers. Via rigororous statistical testing, we show that this hypothesis holds for models which perform well on the underlying Q&A task. We also find a strong direction correlation between Q&A accuracy and MSP correctness prediction, while finding no correlation between Q&A accuracy and calibration error. This suggests that within the current fine-tuning paradigm, we can expect correctness prediction but not calibration to improve as LLM capabilities progress. To demonstrate the utility of correctness prediction, we show that when models have the option to abstain, performance can be improved by selectively abstaining based on the MSP of the initial model response, using only a small amount of labeled data to choose the MSP threshold.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL