Bayesian Numerical Integration with Neural Networks

要約

数値積分のベイズ確率的数値法には、非ベイズ法に比べて大きな利点があります。被積分関数に関する事前情報をエンコードでき、積分の推定値の不確実性を定量化できます。
ただし、このクラスで最も人気のあるアルゴリズムであるベイジアン求積法は、ガウス過程モデルに基づいているため、高い計算コストが伴います。
スケーラビリティを向上させるために、ベイジアン ニューラル ネットワークに基づく代替アプローチを提案します。これをベイジアン スタイン ネットワークと呼びます。
重要な要素は、Stein 演算子に基づくニューラル ネットワーク アーキテクチャと、ラプラス近似に基づくベイズ事後分布の近似です。
これにより、一般的な Genz 関数ベンチマークや、力学システムのベイズ解析で生じる困難な問題、大規模風力発電所のエネルギー生産の予測が大幅に高速化されることを示します。

要約(オリジナル)

Bayesian probabilistic numerical methods for numerical integration offer significant advantages over their non-Bayesian counterparts: they can encode prior information about the integrand, and can quantify uncertainty over estimates of an integral. However, the most popular algorithm in this class, Bayesian quadrature, is based on Gaussian process models and is therefore associated with a high computational cost. To improve scalability, we propose an alternative approach based on Bayesian neural networks which we call Bayesian Stein networks. The key ingredients are a neural network architecture based on Stein operators, and an approximation of the Bayesian posterior based on the Laplace approximation. We show that this leads to orders of magnitude speed-ups on the popular Genz functions benchmark, and on challenging problems arising in the Bayesian analysis of dynamical systems, and the prediction of energy production for a large-scale wind farm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google