Revisiting Reweighted Risk for Calibration: AURC, Focal Loss, and Inverse Focal Loss

要約

フォーカル損失、逆焦点損失、リスクカバレッジ曲線（AURC）の下の領域など、再重償のリスク機能のいくつかのバリエーションが文献で提案されており、そのキャリブレーション特性に関連して主張が行われています。
ただし、焦点損失と逆焦点損失は、大きく異なる重み付けスキームを提案します。
この論文では、深い学習で一般的に使用されている広範なクラスの加重リスク関数を再訪し、これらの再操作スキームとキャリブレーションエラーの間の原則的なつながりを確立します。
キャリブレーションエラーを最小化することは、選択的分類パラダイムに密接にリンクされており、AURCの正規化されたバリアントを最適化するとキャリブレーションの改善につながることが示されています。
この正規化されたAURCは、逆焦点損失と同様の再重み付け戦略を共有し、校正が望ましい結果である場合、焦点損失は原則が少ないという考えを支持します。
直接的なAURC最適化は、信頼性スコア関数（CSFS）の選択により、より柔軟性を高めます。
勾配ベースの最適化を有効にするために、ソフトランク技術を使用して、正規化されたAURCの微分処方を導入します。
経験的評価は、AURCベースの損失が、さまざまなデータセットとモデルアーキテクチャにわたって競争力のあるクラスでのキャリブレーションパフォーマンスを達成することを示しています。

要約(オリジナル)

Several variants of reweighted risk functionals, such as focal losss, inverse focal loss, and the Area Under the Risk-Coverage Curve (AURC), have been proposed in the literature and claims have been made in relation to their calibration properties. However, focal loss and inverse focal loss propose vastly different weighting schemes. In this paper, we revisit a broad class of weighted risk functions commonly used in deep learning and establish a principled connection between these reweighting schemes and calibration errors. We show that minimizing calibration error is closely linked to the selective classification paradigm and demonstrate that optimizing a regularized variant of the AURC naturally leads to improved calibration. This regularized AURC shares a similar reweighting strategy with inverse focal loss, lending support to the idea that focal loss is less principled when calibration is a desired outcome. Direct AURC optimization offers greater flexibility through the choice of confidence score functions (CSFs). To enable gradient-based optimization, we introduce a differentiable formulation of the regularized AURC using the SoftRank technique. Empirical evaluations demonstrate that our AURC-based loss achieves competitive class-wise calibration performance across a range of datasets and model architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google