Learning Active Subspaces for Effective and Scalable Uncertainty Quantification in Deep Neural Networks

要約

ニューラル ネットワークのベイジアン推論、つまりベイジアン ディープ ラーニングには、定量化された不確実性と堅牢性を備えた適切に調整された予測を提供する可能性があります。
ただし、ベイジアンディープラーニングの主な障害は、パラメーター空間の高次元性による計算の複雑さです。
この研究では、ニューラルネットワークの出力に最も重大な影響を与えるパラメータの方向を特定することにより、ニューラルネットワークパラメータの低次元部分空間（アクティブサブ空間と呼ばれる）を構築することで、この制限に対処する新しいスキームを提案します。
通信網。
大幅に削減された活性部分空間により、計算的に扱いにくいモンテカルロ (MC) サンプリング法または変分推論のいずれかを介して、効果的かつスケーラブルなベイジアン推論が可能になることを実証します。
経験的に、私たちのアプローチは、さまざまな回帰タスクに対して堅牢な不確実性推定を備えた信頼性の高い予測を提供します。

要約(オリジナル)

Bayesian inference for neural networks, or Bayesian deep learning, has the potential to provide well-calibrated predictions with quantified uncertainty and robustness. However, the main hurdle for Bayesian deep learning is its computational complexity due to the high dimensionality of the parameter space. In this work, we propose a novel scheme that addresses this limitation by constructing a low-dimensional subspace of the neural network parameters-referred to as an active subspace-by identifying the parameter directions that have the most significant influence on the output of the neural network. We demonstrate that the significantly reduced active subspace enables effective and scalable Bayesian inference via either Monte Carlo (MC) sampling methods, otherwise computationally intractable, or variational inference. Empirically, our approach provides reliable predictions with robust uncertainty estimates for various regression tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google