Classifier Ensemble for Efficient Uncertainty Calibration of Deep Neural Networks for Image Classification

要約

この論文では、画像分類のためのさまざまなディープ ニューラル ネットワークに適用される不確実性キャリブレーションのための新しい分類器アンサンブル技術を調査します。
当社は、予想される校正誤差 (ECE) と最大校正誤差 (MCE) に焦点を当てて、精度と校正指標の両方を評価します。
私たちの研究では、多数決やいくつかのメタモデルベースのアプローチなど、シンプルかつ効率的な分類子アンサンブルを構築するためのさまざまな方法を比較しています。
私たちの評価により、画像分類用の最先端のディープ ニューラル ネットワークは標準的なデータセットで高い精度を達成しているものの、重大なキャリブレーション エラーが頻繁に発生することが明らかになりました。
多数決などの基本的なアンサンブル手法では若干の改善が得られますが、メタモデル ベースのアンサンブルでは、すべてのアーキテクチャにわたって一貫して ECE と MCE が削減されます。
特に、比較したメタモデルのうち最大のものは、精度への影響を最小限に抑えながら、最も大幅なキャリブレーションの改善を示しています。
さらに、メタモデルを使用した分類子アンサンブルは、キャリブレーション パフォーマンスにおいて従来のモデル アンサンブルを上回り、必要なパラメーターが大幅に少なくなります。
従来の事後キャリブレーション方法と比較して、私たちのアプローチでは、別個のキャリブレーション データセットが必要ありません。
これらの発見は、モデルのキャリブレーションを改善するための効率的かつ効果的なアプローチとして、私たちが提案するメタモデルベースの分類子アンサンブルの可能性を強調し、それによってより信頼性の高い深層学習システムに貢献します。

要約(オリジナル)

This paper investigates novel classifier ensemble techniques for uncertainty calibration applied to various deep neural networks for image classification. We evaluate both accuracy and calibration metrics, focusing on Expected Calibration Error (ECE) and Maximum Calibration Error (MCE). Our work compares different methods for building simple yet efficient classifier ensembles, including majority voting and several metamodel-based approaches. Our evaluation reveals that while state-of-the-art deep neural networks for image classification achieve high accuracy on standard datasets, they frequently suffer from significant calibration errors. Basic ensemble techniques like majority voting provide modest improvements, while metamodel-based ensembles consistently reduce ECE and MCE across all architectures. Notably, the largest of our compared metamodels demonstrate the most substantial calibration improvements, with minimal impact on accuracy. Moreover, classifier ensembles with metamodels outperform traditional model ensembles in calibration performance, while requiring significantly fewer parameters. In comparison to traditional post-hoc calibration methods, our approach removes the need for a separate calibration dataset. These findings underscore the potential of our proposed metamodel-based classifier ensembles as an efficient and effective approach to improving model calibration, thereby contributing to more reliable deep learning systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google