On Temperature Scaling and Conformal Prediction of Deep Classifiers

要約

多くの分類アプリケーションでは、ディープニューラルネットワーク（DNN）ベースの分類器の予測には、ある程度の信頼性表示を伴う必要があります。
その目的の2つの一般的なアプローチは次のとおりです。1）キャリブレーション：最大値が正確性の確率をより良く推定するように分類器のソフトマックス値を変更します。
2）Conformal Prediction（CP）：ユーザー指定の確率で真のラベルを含む候補ラベルの予測セットを作成し、限界カバレッジを保証しますが、たとえばクラスごとのカバレッジを保証します。
実際には、両方のタイプの適応症が望ましいですが、これまでのところ、それらの間の相互作用は調査されていません。
ユビキタス温度スケーリング（TS）キャリブレーションに焦点を当て、この論文を開始し、顕著なCPメソッドに対するその効果の広範な経験的研究を開始します。
TSキャリブレーションは、適応型CPメソッドのクラス条件付きカバレッジを改善するが、驚くべきことに、予測セットのサイズに悪影響を与えることを示しています。
この動作に動機付けられて、CPに対するTSのキャリブレーションアプリケーションを超えた効果を調査し、予測セットのサイズと適応型CPメソッドの条件付きカバレッジを取引できる興味深い傾向を明らかにします。
次に、非モノトニックな傾向全体を説明する数学的理論を確立します。
最後に、実験と理論に基づいて、適応型CPとキャリブレーションを効果的に組み合わせるための実務家向けの簡単なガイドラインを提供します。

要約(オリジナル)

In many classification applications, the prediction of a deep neural network (DNN) based classifier needs to be accompanied by some confidence indication. Two popular approaches for that aim are: 1) Calibration: modifies the classifier’s softmax values such that the maximal value better estimates the correctness probability; and 2) Conformal Prediction (CP): produces a prediction set of candidate labels that contains the true label with a user-specified probability, guaranteeing marginal coverage but not, e.g., per class coverage. In practice, both types of indications are desirable, yet, so far the interplay between them has not been investigated. Focusing on the ubiquitous Temperature Scaling (TS) calibration, we start this paper with an extensive empirical study of its effect on prominent CP methods. We show that while TS calibration improves the class-conditional coverage of adaptive CP methods, surprisingly, it negatively affects their prediction set sizes. Motivated by this behavior, we explore the effect of TS on CP beyond its calibration application and reveal an intriguing trend under which it allows to trade prediction set size and conditional coverage of adaptive CP methods. Then, we establish a mathematical theory that explains the entire non-monotonic trend. Finally, based on our experiments and theory, we offer simple guidelines for practitioners to effectively combine adaptive CP with calibration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google