Confident Neural Network Regression with Bootstrapped Deep Ensembles

要約

ニューラルネットワークの普及と利用の高まりに伴い、信頼できる不確実性推定がますます不可欠になってきている。最も著名な不確実性推定手法の1つはDeep Ensembles (Lakshminarayanan et al., 2017) である。古典的なパラメトリック・モデルは、モデルが構築されるデータがランダム・サンプルであるという事実により、パラメータに不確実性を持つ。最新のニューラルネットワークは、ネットワークの最適化がランダムであるため、不確実性の要素が追加される。Lakshminarayananら（2017）は、Deep Ensemblesは有限データの影響によって引き起こされる古典的な不確実性を組み込んでいないと指摘した。本論文では、ブートストラップド・ディープ・アンサンブル（Bootstrapped Deep Ensembles）と呼ばれる、回帰設定のためのディープ・アンサンブルの計算コストの低い拡張を提示し、パラメトリック・ブートストラップの修正版を用いて、この古典的な有限データの効果を明示的に考慮する。我々は、実験的研究を通じて、我々の手法が標準的なDeep Ensemblesを大幅に改善することを実証する。

要約(オリジナル)

With the rise of the popularity and usage of neural networks, trustworthy uncertainty estimation is becoming increasingly essential. One of the most prominent uncertainty estimation methods is Deep Ensembles (Lakshminarayanan et al., 2017) . A classical parametric model has uncertainty in the parameters due to the fact that the data on which the model is build is a random sample. A modern neural network has an additional uncertainty component since the optimization of the network is random. Lakshminarayanan et al. (2017) noted that Deep Ensembles do not incorporate the classical uncertainty induced by the effect of finite data. In this paper, we present a computationally cheap extension of Deep Ensembles for the regression setting, called Bootstrapped Deep Ensembles, that explicitly takes this classical effect of finite data into account using a modified version of the parametric bootstrap. We demonstrate through an experimental study that our method significantly improves upon standard Deep Ensembles

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL