Efficient Bayes Inference in Neural Networks through Adaptive Importance Sampling

要約

タイトル：適応重要サンプリングによるニューラルネットワークの効率的なベイズ推論

要約：
– ベイズニューラルネットワーク（BNN）は、過去数年間で大きな注目を集めている。
– BNNでは、学習段階でネットワークの未知の重みとバイアスパラメーターの完全な事後分布が生成される。
– この確率的推定は、点推定に比べていくつかのメリットを提供し、特に新しいデータを予測する際の不確実性の定量化能力があるため、機械学習の数多くの応用で有用である。
– このベイジアンパラダイムに固有のこの特徴は、医療保健や自律走行など、意思決定に重要な影響を与える領域で特に魅力的である。
– BNNの主な課題は、ベイズテクニックがしばしば次元の呪いに直面するため、それに関連する計算コストである。
– 適応重要サンプリング（AIS）は、サウンド収束保証と適応性の容易さを備えた最も優れたモンテカルロ手法の1つであり、この研究では、AISがBNNの設計に成功する方法を示している。
– 具体的には、複雑な（しばしば多峰性の）事後分布に対する幾何学的情報を利用した、効率的な適応機構を含む新しいアルゴリズムPMCnetを提案している。
– 数値結果は、提案手法が浅いおよび深いニューラルネットワークの両方に対して優れた性能と改善された探索能力を示している。

要約(オリジナル)

Bayesian neural networks (BNNs) have received an increased interest in the last years. In BNNs, a complete posterior distribution of the unknown weight and bias parameters of the network is produced during the training stage. This probabilistic estimation offers several advantages with respect to point-wise estimates, in particular, the ability to provide uncertainty quantification when predicting new data. This feature inherent to the Bayesian paradigm, is useful in countless machine learning applications. It is particularly appealing in areas where decision-making has a crucial impact, such as medical healthcare or autonomous driving. The main challenge of BNNs is the computational cost of the training procedure since Bayesian techniques often face a severe curse of dimensionality. Adaptive importance sampling (AIS) is one of the most prominent Monte Carlo methodologies benefiting from sounded convergence guarantees and ease for adaptation. This work aims to show that AIS constitutes a successful approach for designing BNNs. More precisely, we propose a novel algorithm PMCnet that includes an efficient adaptation mechanism, exploiting geometric information on the complex (often multimodal) posterior distribution. Numerical results illustrate the excellent performance and the improved exploration capabilities of the proposed method for both shallow and deep neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI