Probabilities of Chat LLMs Are Miscalibrated but Still Predict Correctness on Multiple-Choice Q&A

要約

チャット用に微調整された15の大手言語モデル（LLM）を研究し、最大のソフトマックス確率（MSP）が複数選択Q＆Aで一貫して誤りがあることがわかります。
ただし、これらのMSPは依然として有用な不確実性情報をエンコードする可能性があります。
具体的には、正しい答えと比較して、間違った答えがより小さなMSPに関連付けられると仮定しました。
厳密な統計テストを介して、この仮説は、基礎となるQ＆Aタスクでうまく機能するモデルにも当てはまることを示します。
また、Q＆Aの精度とMSPの正確性予測との間に強い方向相関があり、Q＆Aの精度とキャリブレーションエラーの間に相関関係がないこともあります。
これは、現在の微調整パラダイム内では、LLM機能が進行するにつれてキャリブレーションが改善されることを期待できないことを示唆しています。
正確性予測の有用性を実証するために、モデルが棄権するオプションを持っている場合、初期モデル応答のMSPに基づいて選択的に棄権することでパフォーマンスを改善できることを示します。

要約(オリジナル)

We study 15 large language models (LLMs) fine-tuned for chat and find that their maximum softmax probabilities (MSPs) are consistently miscalibrated on multiple-choice Q&A. However, those MSPs might still encode useful uncertainty information. Specifically, we hypothesized that wrong answers would be associated with smaller MSPs compared to correct answers. Via rigorous statistical testing, we show that this hypothesis holds for models which perform well on the underlying Q&A task. We also find a strong direction correlation between Q&A accuracy and MSP correctness prediction, while finding no correlation between Q&A accuracy and calibration error. This suggests that within the current fine-tuning paradigm, we can expect correctness prediction but not calibration to improve as LLM capabilities progress. To demonstrate the utility of correctness prediction, we show that when models have the option to abstain, performance can be improved by selectively abstaining based on the MSP of the initial model response, using only a small amount of labeled data to choose the MSP threshold.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google