How to Fix a Broken Confidence Estimator: Evaluating Post-hoc Methods for Selective Classification with Deep Neural Networks

要約

この論文では、潜在的なエラーを回避するためにモデルが信頼性の低い予測を回避できるようにする、ディープ ニューラル ネットワークの選択的分類の問題について取り上げます。
私たちは、特定の分類器の信頼度推定量を修正や再トレーニングせずに置き換えるため、実用的に魅力的な、いわゆるポストホック手法に焦点を当てています。
ソフトマックス出力を持つニューラル ネットワークを考慮すると、私たちの目標は、非正規化ロジットから直接計算できる最良の信頼推定量を特定することです。
この問題は、多くの分類器の選択的分類パフォーマンスが、対応する精度で期待できるものよりもはるかに悪いという意味で、多くの分類器の信頼推定値が「壊れている」ように見えるという、最近の研究での興味深い観察によって引き起こされています。
私たちは、一般的なリポジトリから入手可能な 84 個の事前トレーニング済み ImageNet 分類器に適用される多くの既存および提案された信頼推定量について広範な実験研究を実行します。
私たちの結果は、ロジットの単純な $p$-norm 正規化とそれに続く最大ロジットを信頼度推定量として採用することで、選択的分類パフォーマンスの大幅な向上につながり、多くの分類器で観察された病理学的挙動を完全に修正できることを示しています。
その結果、分類器の選択的分類パフォーマンスは、ほぼ完全に、対応する精度によって決まります。
さらに、これらの結果は分布が変化しても一貫していることが示されています。

要約(オリジナル)

This paper addresses the problem of selective classification for deep neural networks, where a model is allowed to abstain from low-confidence predictions to avoid potential errors. We focus on so-called post-hoc methods, which replace the confidence estimator of a given classifier without modifying or retraining it, thus being practically appealing. Considering neural networks with softmax outputs, our goal is to identify the best confidence estimator that can be computed directly from the unnormalized logits. This problem is motivated by the intriguing observation in recent work that many classifiers appear to have a ‘broken’ confidence estimator, in the sense that their selective classification performance is much worse than what could be expected by their corresponding accuracies. We perform an extensive experimental study of many existing and proposed confidence estimators applied to 84 pretrained ImageNet classifiers available from popular repositories. Our results show that a simple $p$-norm normalization of the logits, followed by taking the maximum logit as the confidence estimator, can lead to considerable gains in selective classification performance, completely fixing the pathological behavior observed in many classifiers. As a consequence, the selective classification performance of any classifier becomes almost entirely determined by its corresponding accuracy. Moreover, these results are shown to be consistent under distribution shift.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google