Adaptive Calibrator Ensemble for Model Calibration under Distribution Shift

要約

通常、モデルのキャリブレーションでは、いくつかのパラメーター (温度など) を目的関数 (負の対数尤度など) に対して最適化する必要があります。
この論文では、目的関数がキャリブレーションセットの難易度、つまり正しく分類されたサンプル数に対する正しく分類されていないサンプル数の比率によって影響を受けるという、明白で重要であるがしばしば無視されている事実を報告します。
テスト セットの難易度がキャリブレーション セットと大幅に異なる場合、2 つのデータセットの最適なキャリブレーション パラメーターは異なります。
言い換えると、キャリブレーション セットで最適なキャリブレータは、OOD テスト セットでは最適ではないため、パフォーマンスが低下します。
この知識を使用して、適応キャリブレーター アンサンブル (ACE) という名前のシンプルで効果的な方法を提案し、通常はキャリブレーション セットよりも難易度が高い OOD データセットをキャリブレーションします。
具体的には、2 つのキャリブレーション関数がトレーニングされます。1 つは分布内データ (低難易度) 用で、もう 1 つは深刻な OOD データ (高難易度) 用です。
新しい OOD データセットで望ましいキャリブレーションを実現するために、ACE は 2 つの極端な機能のバランスをとる適応加重法を使用します。
ACE をプラグインすると、一連の OOD ベンチマークでいくつかの最先端のキャリブレーション スキームのパフォーマンスが向上します。
重要なことに、このような改善は、分布内のキャリブレーション精度を犠牲にするものではありません。

要約(オリジナル)

Model calibration usually requires optimizing some parameters (e.g., temperature) w.r.t an objective function (e.g., negative log-likelihood). In this paper, we report a plain, important but often neglected fact that the objective function is influenced by calibration set difficulty, i.e., the ratio of the number of incorrectly classified samples to that of correctly classified samples. If a test set has a drastically different difficulty level from the calibration set, the optimal calibration parameters of the two datasets would be different. In other words, a calibrator optimal on the calibration set would be suboptimal on the OOD test set and thus has degraded performance. With this knowledge, we propose a simple and effective method named adaptive calibrator ensemble (ACE) to calibrate OOD datasets whose difficulty is usually higher than the calibration set. Specifically, two calibration functions are trained, one for in-distribution data (low difficulty), and the other for severely OOD data (high difficulty). To achieve desirable calibration on a new OOD dataset, ACE uses an adaptive weighting method that strikes a balance between the two extreme functions. When plugged in, ACE generally improves the performance of a few state-of-the-art calibration schemes on a series of OOD benchmarks. Importantly, such improvement does not come at the cost of the in-distribution calibration accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google