Few-sample Variational Inference of Bayesian Neural Networks with Arbitrary Nonlinearities

要約

ベイジアン ニューラル ネットワーク (BNN) は、従来のニューラル ネットワークを拡張して、出力に関連する不確実性を提供します。
BNN を通過する順方向パスでは、予測 (およびその不確実性) は、学習された事後分布からのネットワークの重みをモンテカルロ サンプリングすることによって、またはネットワークを通じて統計モーメントを分析的に伝播することによって行われます。
モンテカルロ サンプリングは柔軟性がありますが、計算コストが高く、リソースの制約や大規模なネットワークでは実行不可能または非実用的になる可能性があります。
モーメント伝播は BNN 推論の計算コストを改善できますが、任意の非線形性を持つネットワークでは困難または不可能な場合があるため、そのようなスキームで許可されるネットワーク層の可能なセットが制限されます。
この研究では、わずか 3 つの決定論的サンプルを使用して任意の非線形性を通じて統計モーメントを伝播するためのシンプルかつ効果的なアプローチを実証し、使用するネットワーク層のセットを制限することなく BNN の少数サンプルの変分推論を可能にします。
さらに、このアプローチを利用して、物理学に基づいた事前情報を BNN の出力ノードに注入するために使用する新しい非線形活性化関数を実証します。

要約(オリジナル)

Bayesian Neural Networks (BNNs) extend traditional neural networks to provide uncertainties associated with their outputs. On the forward pass through a BNN, predictions (and their uncertainties) are made either by Monte Carlo sampling network weights from the learned posterior or by analytically propagating statistical moments through the network. Though flexible, Monte Carlo sampling is computationally expensive and can be infeasible or impractical under resource constraints or for large networks. While moment propagation can ameliorate the computational costs of BNN inference, it can be difficult or impossible for networks with arbitrary nonlinearities, thereby restricting the possible set of network layers permitted with such a scheme. In this work, we demonstrate a simple yet effective approach for propagating statistical moments through arbitrary nonlinearities with only 3 deterministic samples, enabling few-sample variational inference of BNNs without restricting the set of network layers used. Furthermore, we leverage this approach to demonstrate a novel nonlinear activation function that we use to inject physics-informed prior information into output nodes of a BNN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google