Influences on LLM Calibration: A Study of Response Agreement, Loss Functions, and Prompt Styles

要約

モデルの信頼性と予測精度の間の調整であるキャリブレーションは、大規模言語モデル (LLM) を確実に展開するために重要です。
既存の研究では、他のプロンプト スタイルやさまざまなサイズの LLM に対するメソッドの一般化を測定することが無視されています。
これに対処するために、12 個の LLM と 4 つのプロンプト スタイルをカバーする制御された実験設定を定義します。
さらに、複数の LLM の応答の一致と適切な損失関数を組み込むことでキャリブレーションのパフォーマンスが向上するかどうかを調査します。
具体的には、複数の LLM からの応答を集約してモデル間の一致を取得する信頼性推定用の補助モデルをトレーニングする新しいフレームワークである Calib-n を構築します。
キャリブレーションを最適化するために、焦点および AUC サロゲート損失とバイナリ クロス エントロピーを統合します。
4 つのデータセットにわたる実験では、応答の一致と焦点損失の両方がベースラインからのキャリブレーションを改善することを示しています。
補助モデルベースの手法では、少数ショット プロンプトが最も効果的であり、補助モデルは精度の変動全体にわたって堅牢なキャリブレーション パフォーマンスを示し、LLM の内部確率や言語化された信頼度を上回っていることがわかりました。
これらの洞察は、LLM キャリブレーションにおける影響要因の理解を深め、さまざまなアプリケーションでの信頼性の高い導入をサポートします。

要約(オリジナル)

Calibration, the alignment between model confidence and prediction accuracy, is critical for the reliable deployment of large language models (LLMs). Existing works neglect to measure the generalization of their methods to other prompt styles and different sizes of LLMs. To address this, we define a controlled experimental setting covering 12 LLMs and four prompt styles. We additionally investigate if incorporating the response agreement of multiple LLMs and an appropriate loss function can improve calibration performance. Concretely, we build Calib-n, a novel framework that trains an auxiliary model for confidence estimation that aggregates responses from multiple LLMs to capture inter-model agreement. To optimize calibration, we integrate focal and AUC surrogate losses alongside binary cross-entropy. Experiments across four datasets demonstrate that both response agreement and focal loss improve calibration from baselines. We find that few-shot prompts are the most effective for auxiliary model-based methods, and auxiliary models demonstrate robust calibration performance across accuracy variations, outperforming LLMs’ internal probabilities and verbalized confidences. These insights deepen the understanding of influence factors in LLM calibration, supporting their reliable deployment in diverse applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google