Model Calibration in Dense Classification with Adaptive Label Perturbation

要約

安全関連のアプリケーションでは、信頼できるディープ ニューラル ネットワークを作成することが重要です。その予測は、その後の意思決定の正しさの可能性を表す信頼度に関連付けられています。
既存の高密度二項分類モデルは自信過剰になる傾向があります。
モデルのキャリブレーションを改善するために、トレーニング画像ごとに固有のラベル摂動レベルを学習する適応確率的ラベル摂動 (ASLP) を提案します。
ASLP は、当社が提案する自己校正バイナリ クロス エントロピー (SC-BCE) 損失を採用しています。これは、確率的アプローチ (DisturbLabel など) を含むラベル摂動プロセスとラベル平滑化を統合して、分類率を維持しながら校正を修正します。
ASLP は、古典的な統計力学の最大エントロピー推論に従い、欠損情報に関する予測エントロピーを最大化します。
これは、(1) 保守的な解決策として既知のデータの分類精度を維持するか、(2) ターゲット トレーニング ラベルの予測精度と期待される信頼性との間のギャップを最小限に抑えてモデルの校正度を具体的に向上させながら実行されます。
広範な結果は、ASLP が分布内データと分布外データの両方で高密度バイナリ分類モデルの校正度を大幅に向上できることを示しています。
コードは https://github.com/Carlisle-Liu/ASLP で入手できます。

要約(オリジナル)

For safety-related applications, it is crucial to produce trustworthy deep neural networks whose prediction is associated with confidence that can represent the likelihood of correctness for subsequent decision-making. Existing dense binary classification models are prone to being over-confident. To improve model calibration, we propose Adaptive Stochastic Label Perturbation (ASLP) which learns a unique label perturbation level for each training image. ASLP employs our proposed Self-Calibrating Binary Cross Entropy (SC-BCE) loss, which unifies label perturbation processes including stochastic approaches (like DisturbLabel), and label smoothing, to correct calibration while maintaining classification rates. ASLP follows Maximum Entropy Inference of classic statistical mechanics to maximise prediction entropy with respect to missing information. It performs this while: (1) preserving classification accuracy on known data as a conservative solution, or (2) specifically improves model calibration degree by minimising the gap between the prediction accuracy and expected confidence of the target training label. Extensive results demonstrate that ASLP can significantly improve calibration degrees of dense binary classification models on both in-distribution and out-of-distribution data. The code is available on https://github.com/Carlisle-Liu/ASLP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google