Single-shot Bayesian approximation for neural networks

要約

ディープ ニューラル ネットワーク (NN) は、高い予測パフォーマンスで知られています。
ただし、NN は、まったく新しい状況に遭遇した場合、不確実性を示さずに信頼性の低い予測を行う傾向があります。
モンテカルロ (MC) ドロップアウト BNN などの NN (BNN) のベイジアン バリアントは、不確実性の尺度を提供し、同時に予測パフォーマンスを向上させます。
BNN の唯一の欠点は、サンプリング手法に依存しているため、テスト時の計算時間が長くなるということです。
ここでは、BNN の利点を維持しながら NN と同じくらい高速なシングルショット MC ドロップアウト近似を示します。
私たちのアプローチはモーメント伝播 (MP) に基づいており、NN で一般的に使用される層 (畳み込み層、最大プーリング層、密層、ソフトマックス層、ドロップアウト層) の MC ドロップアウト信号の期待値と分散を分析的に近似することができます。
MP アプローチでは、NN が標準ドロップアウトでトレーニングされている場合、再トレーニングすることなく NN を BNN に変換できます。
分類および回帰設定で、さまざまなベンチマーク データセットとシミュレートされたおもちゃの例に対するアプローチを評価します。
我々のシングルショット MC ドロップアウト近似は、MC アプローチで達成される予測分布の点推定値と不確実性推定値に似ていると同時に、BNN のリアルタイム展開に十分な速度であることを示します。
節約された時間の一部を使用して、MP アプローチとディープ アンサンブル手法を組み合わせることで、不確実性の尺度がさらに向上することを示します。

要約(オリジナル)

Deep neural networks (NNs) are known for their high-prediction performances. However, NNs are prone to yield unreliable predictions when encountering completely new situations without indicating their uncertainty. Bayesian variants of NNs (BNNs), such as Monte Carlo (MC) dropout BNNs, do provide uncertainty measures and simultaneously increase the prediction performance. The only disadvantage of BNNs is their higher computation time during test time because they rely on a sampling approach. Here we present a single-shot MC dropout approximation that preserves the advantages of BNNs while being as fast as NNs. Our approach is based on moment propagation (MP) and allows to analytically approximate the expected value and the variance of the MC dropout signal for commonly used layers in NNs, i.e. convolution, max pooling, dense, softmax, and dropout layers. The MP approach can convert an NN into a BNN without re-training given the NN has been trained with standard dropout. We evaluate our approach on different benchmark datasets and a simulated toy example in a classification and regression setting. We demonstrate that our single-shot MC dropout approximation resembles the point estimate and the uncertainty estimate of the predictive distribution that is achieved with an MC approach, while being fast enough for real-time deployments of BNNs. We show that using part of the saved time to combine our MP approach with deep ensemble techniques does further improve the uncertainty measures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google