Class Adaptive Network Calibration

要約

タイトル: クラス適応型ネットワークのキャリブレーション
要約:
・従来の精度を超えた、学習時のキャリブレーション問題があることがわかった。
・いくつかの方法が、標準的な分類損失とともにペナルティ関数を探求し、相対寄与度を調節するハイパーパラメータを導入して、学習中の不正確さを処理するようにしているが、これらの方法には2つの欠点がある。
・その2つの欠点は以下の通りである。1)スカラーのバランシング重量がすべてのクラスに対して同じため、異なる固有の難しさやバランスの取れていないクラスに対処する能力が制限される。2)バランス重量は通常固定されており、適応戦略がないため、精度とキャリブレーションの最適な妥協点に到達できず、アプリケーションによってはハイパーパラメータの検索が必要になる。
・提案されたクラス適応型ラベル平滑化(CALS)は、学習中にクラスごとの乗数を学習させることができるため、一般的なラベル平滑化ペナルティの強力な代替手段となります。提案手法は、強制制限最適化における確立された技術である拡張ラグランジュアプローチをベースに構築され、大規模かつクラス適応的なトレーニングに最適化されています。様々なベンチマーク、標準的およびロングテール画像分類、セマンティックセグメンテーション、テキスト分類などの網羅的評価と複数の比較により、提案手法の優越性が示されています。コードは、https://github.com/by-liu/CALSで利用できます。

要約(オリジナル)

Recent studies have revealed that, beyond conventional accuracy, calibration should also be considered for training modern deep neural networks. To address miscalibration during learning, some methods have explored different penalty functions as part of the learning objective, alongside a standard classification loss, with a hyper-parameter controlling the relative contribution of each term. Nevertheless, these methods share two major drawbacks: 1) the scalar balancing weight is the same for all classes, hindering the ability to address different intrinsic difficulties or imbalance among classes; and 2) the balancing weight is usually fixed without an adaptive strategy, which may prevent from reaching the best compromise between accuracy and calibration, and requires hyper-parameter search for each application. We propose Class Adaptive Label Smoothing (CALS) for calibrating deep networks, which allows to learn class-wise multipliers during training, yielding a powerful alternative to common label smoothing penalties. Our method builds on a general Augmented Lagrangian approach, a well-established technique in constrained optimization, but we introduce several modifications to tailor it for large-scale, class-adaptive training. Comprehensive evaluation and multiple comparisons on a variety of benchmarks, including standard and long-tailed image classification, semantic segmentation, and text classification, demonstrate the superiority of the proposed method. The code is available at https://github.com/by-liu/CALS.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI