Regularized KL-Divergence for Well-Defined Function-Space Variational Inference in Bayesian neural networks

要約

ベイジアン ニューラル ネットワーク (BNN) は、ニューラル ネットワークの予測パフォーマンスと、安全性が重要なシステムおよび意思決定に重要な原則に基づいた不確実性モデリングを組み合わせることが期待されています。
ただし、事後不確かさの推定は事前分布の選択に依存しており、重み空間で有益な事前分布を見つけることは困難であることがわかっています。
これにより、重みではなく BNN によって生成された関数に直接事前分布を設定する変分推論 (VI) メソッドが動機付けられました。
この論文では、Burt et al. が指摘した関数空間 VI アプローチの基本的な問題に取り組みます。
(2020) は、目的関数 (ELBO) が対象となるほとんどの事前分布に対して負の無限大であることを示しました。
私たちのソリューションは、正規化された KL 発散 (Quang、2019) を備えた一般化 VI (Knoblauch et al.、2019) に基づいて構築されており、私たちの知る限りでは、ガウス分布を使用した BNN における関数空間推論のための明確に定義された最初の変分目標です。
プロセス (GP) 事前分布。
実験によると、私たちの方法は、合成および小規模な現実世界のデータセットに事前に GP によって指定されたプロパティを組み込んでおり、関数と重み空間の両方を備えた BNN ベースラインと比較して、回帰、分類、分布外検出について競合する不確かさの推定値を提供することが示されています。
先例。

要約(オリジナル)

Bayesian neural networks (BNN) promise to combine the predictive performance of neural networks with principled uncertainty modeling important for safety-critical systems and decision making. However, posterior uncertainty estimates depend on the choice of prior, and finding informative priors in weight-space has proven difficult. This has motivated variational inference (VI) methods that pose priors directly on the function generated by the BNN rather than on weights. In this paper, we address a fundamental issue with such function-space VI approaches pointed out by Burt et al. (2020), who showed that the objective function (ELBO) is negative infinite for most priors of interest. Our solution builds on generalized VI (Knoblauch et al., 2019) with the regularized KL divergence (Quang, 2019) and is, to the best of our knowledge, the first well-defined variational objective for function-space inference in BNNs with Gaussian process (GP) priors. Experiments show that our method incorporates the properties specified by the GP prior on synthetic and small real-world data sets, and provides competitive uncertainty estimates for regression, classification and out-of-distribution detection compared to BNN baselines with both function and weight-space priors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google