What Can We Learn From The Selective Prediction And Uncertainty Estimation Performance Of 523 Imagenet Classifiers

要約

リスクに敏感なタスクに展開する場合、ディープ ニューラル ネットワークには不確実性推定メカニズムが含まれている必要があります。
ここでは、ディープ アーキテクチャとそれぞれのトレーニング体制との関係を、対応する選択的予測と不確実性推定のパフォーマンスとともに調べます。
AUROC、ECE、AURC、および選択的な精度制約の適用範囲を含む、以前に提案された最も一般的な推定パフォーマンス メトリックのいくつかを検討します。
一般的なリポジトリで利用可能な 523 の既存の事前トレーニング済みの深い ImageNet 分類器の選択的予測と不確実性推定パフォーマンスの斬新で包括的な研究を紹介します。
不確実性の推定に影響を与える多くの未知の要因を特定し、さまざまな指標間の関係を調べます。
蒸留ベースのトレーニング体制は、バニラトレーニング、より大きなデータセットでの事前トレーニング、敵対的トレーニングなどの他のトレーニングスキームよりも一貫して優れた不確実性推定をもたらすことがわかりました。
さらに、不確実性推定パフォーマンスの点で他のどのモデルよりも優れた ViT モデルのサブセットを見つけました。
たとえば、競合する EfficientNet-V2-XL ではこれらの精度制約を取得できないのに対し、ViT モデルでは ImageNet で 47% のカバレッジ (および 80% で 95% のトップ 1 精度) で前例のない 99% のトップ 1 選択的精度を発見しました。
あらゆるレベルのカバレッジで。
また、ICLR 2023 (分散クラス検出のベンチマークとその ImageNet への適用のためのフレームワーク) で公開された私たちの関連論文では、分散クラス設定でのこれらの分類子のパフォーマンスを調べます。

要約(オリジナル)

When deployed for risk-sensitive tasks, deep neural networks must include an uncertainty estimation mechanism. Here we examine the relationship between deep architectures and their respective training regimes, with their corresponding selective prediction and uncertainty estimation performance. We consider some of the most popular estimation performance metrics previously proposed including AUROC, ECE, AURC as well as coverage for selective accuracy constraint. We present a novel and comprehensive study of selective prediction and the uncertainty estimation performance of 523 existing pretrained deep ImageNet classifiers that are available in popular repositories. We identify numerous and previously unknown factors that affect uncertainty estimation and examine the relationships between the different metrics. We find that distillation-based training regimes consistently yield better uncertainty estimations than other training schemes such as vanilla training, pretraining on a larger dataset and adversarial training. Moreover, we find a subset of ViT models that outperform any other models in terms of uncertainty estimation performance. For example, we discovered an unprecedented 99% top-1 selective accuracy on ImageNet at 47% coverage (and 95% top-1 accuracy at 80%) for a ViT model, whereas a competing EfficientNet-V2-XL cannot obtain these accuracy constraints at any level of coverage. Our companion paper, also published in ICLR 2023 (A framework for benchmarking class-out-of-distribution detection and its application to ImageNet), examines the performance of these classifiers in a class-out-of-distribution setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google