Fixing Overconfidence in Dynamic Neural Networks

要約

動的ニューラル ネットワークは、計算コストを入力サンプルの難易度に動的に適応させることで、現代の深層学習モデルのサイズの増大に対する救済策を約束する最近の手法です。
このようにして、モデルは限られた計算予算に適応できます。
ただし、深層学習モデルの不確実性推定の品質が低いため、難しいサンプルと簡単なサンプルを区別することが難しくなります。
この課題に対処するために、動的ニューラル ネットワークにおける事後不確実性定量化のための計算効率の高いアプローチを提示します。
最後のレイヤーの確率論的処理を通じて、偶然性と認識論的不確実性の両方を適切に定量化し、説明することで、予測パフォーマンスが向上し、計算予算を決定する際の意思決定が支援されることを示します。
実験では、CIFAR-100 と ImageNet の精度、キャプチャの不確実性、およびキャリブレーション エラーの点で改善が見られました。

要約(オリジナル)

Dynamic neural networks are a recent technique that promises a remedy for the increasing size of modern deep learning models by dynamically adapting their computational cost to the difficulty of the input samples. In this way, the model can adjust to a limited computational budget. However, the poor quality of uncertainty estimates in deep learning models makes it difficult to distinguish between hard and easy samples. To address this challenge, we present a computationally efficient approach for post-hoc uncertainty quantification in dynamic neural networks. We show that adequately quantifying and accounting for both aleatoric and epistemic uncertainty through a probabilistic treatment of the last layers improves the predictive performance and aids decision-making when determining the computational budget. In the experiments, we show improvements on CIFAR-100 and ImageNet in terms of accuracy, capturing uncertainty, and calibration error.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google