Proximity-Informed Calibration for Deep Neural Networks

要約

信頼性キャリブレーションは、特に安全性が重要なシナリオにおいて、正確で解釈可能な不確実性の推定値を提供する上で中心となります。
しかし、既存のキャリブレーション アルゴリズムでは、近接バイアスの問題が見落とされることが多いことがわかりました。近接バイアスとは、モデルが近接度の高いサンプルと比較して、近接度の低いデータ (データ分布のまばらな領域にあるデータ) を過信する傾向がある現象です。
異なる近接サンプル間で一貫性のないミスキャリブレーションが発生することがあります。
事前トレーニング済みの ImageNet モデルについてこの問題を調査し、次のことを観察しました。 1) 近接バイアスがさまざまなモデル アーキテクチャとサイズにわたって存在する。
2) トランスフォーマーベースのモデルは、CNN ベースのモデルよりも近接バイアスの影響を受けやすくなります。
3) 近接バイアスは、温度スケーリングなどの一般的なキャリブレーション アルゴリズムを実行した後でも持続します。
4) モデルは、近接性の高いサンプルよりも近接性の低いサンプルでより重度にオーバーフィットする傾向があります。
経験的な発見に動機付けられて、我々は、近接性に基づいてサンプルの信頼性を調整するための理論的保証を備えたプラグアンドプレイ アルゴリズムである ProCal を提案します。
近接バイアスの軽減におけるキャリブレーション アルゴリズムの有効性をさらに定量化するために、理論分析による近接情報に基づく予想キャリブレーション誤差 (PIECE) を導入します。
ProCal が近接バイアスに対処し、さまざまなモデル アーキテクチャにわたる 4 つの指標の下でバランス、ロングテール、および分布シフト設定のキャリブレーションを改善するのに効果的であることを示します。

要約(オリジナル)

Confidence calibration is central to providing accurate and interpretable uncertainty estimates, especially under safety-critical scenarios. However, we find that existing calibration algorithms often overlook the issue of proximity bias, a phenomenon where models tend to be more overconfident in low proximity data (i.e., lying in the sparse region of the data distribution) compared to high proximity samples, and thus suffer from inconsistent miscalibration across different proximity samples. We examine the problem over pretrained ImageNet models and observe that: 1) Proximity bias exists across a wide variety of model architectures and sizes; 2) Transformer-based models are more susceptible to proximity bias than CNN-based models; 3) Proximity bias persists even after performing popular calibration algorithms like temperature scaling; 4) Models tend to overfit more heavily on low proximity samples than on high proximity samples. Motivated by the empirical findings, we propose ProCal, a plug-and-play algorithm with a theoretical guarantee to adjust sample confidence based on proximity. To further quantify the effectiveness of calibration algorithms in mitigating proximity bias, we introduce proximity-informed expected calibration error (PIECE) with theoretical analysis. We show that ProCal is effective in addressing proximity bias and improving calibration on balanced, long-tail, and distribution-shift settings under four metrics over various model architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google