Domain-adaptive and Subgroup-specific Cascaded Temperature Regression for Out-of-distribution Calibration

要約

ディープ ニューラル ネットワークは、十分なトレーニング データがあれば高い分類精度をもたらしますが、その予測は通常、自信過剰または自信不足です。つまり、予測の信頼度は正確に精度を反映できません。
事後キャリブレーションは、分類モデルを再トレーニングせずに予測信頼度をキャリブレーションすることで、この問題に取り組みます。
ただし、現在のアプローチはテスト データと検証データの分布が一致していることを前提としており、分布外のシナリオへの適用が制限されています。
この目的を達成するために、ポストホックキャリブレーションのための新しいメタセットベースのカスケード温度回帰法を提案します。
私たちの方法は、検証セットのデータ拡張を通じてさまざまなドメインのシフトをシミュレートすることにより、きめの細かいスケーリング関数を個別のテストセットに合わせて調整します。
予測されたカテゴリと信頼レベルに基づいて各メタセットをサブグループに分割し、多様な不確実性を捉えます。
次に、回帰ネットワークがトレーニングされて、カテゴリ固有および信頼レベル固有のスケーリングを導き出し、メタセット全体のキャリブレーションを実現します。
MNIST、CIFAR-10、TinyImageNet に関する広範な実験結果により、提案された方法の有効性が実証されています。

要約(オリジナル)

Although deep neural networks yield high classification accuracy given sufficient training data, their predictions are typically overconfident or under-confident, i.e., the prediction confidences cannot truly reflect the accuracy. Post-hoc calibration tackles this problem by calibrating the prediction confidences without re-training the classification model. However, current approaches assume congruence between test and validation data distributions, limiting their applicability to out-of-distribution scenarios. To this end, we propose a novel meta-set-based cascaded temperature regression method for post-hoc calibration. Our method tailors fine-grained scaling functions to distinct test sets by simulating various domain shifts through data augmentation on the validation set. We partition each meta-set into subgroups based on predicted category and confidence level, capturing diverse uncertainties. A regression network is then trained to derive category-specific and confidence-level-specific scaling, achieving calibration across meta-sets. Extensive experimental results on MNIST, CIFAR-10, and TinyImageNet demonstrate the effectiveness of the proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google