Riemannian Laplace approximations for Bayesian neural networks

要約

ベイジアン ニューラル ネットワークは、多くの場合、重み事後分布をガウス分布で近似します。
ただし、実際の事後関数は、局所的であっても高度に非ガウスであることが多く、経験的なパフォーマンスが低下します。
対数事後勾配によって決定されるリーマン計量を通じて真の事後分布の形状に適応する単純なパラメトリック近似事後分布を提案します。
私たちは、サンプルが負の対数事後が低い重み領域に自然に収まるリーマン ラプラス近似を開発します。
これらのサンプルは、連立常微分方程式を解くことによって描画できることを示します。これは、リーマン計量の構造と自動微分を活用することで効率的に実行できます。
経験的に、私たちのアプローチはタスク全体にわたって従来のラプラス近似よりも一貫して改善されていることを示しています。
さらに、従来のラプラス近似とは異なり、私たちの方法は事前分布の選択にそれほど敏感ではないため、現在のアプローチの実際的な落とし穴が軽減されることを示します。

要約(オリジナル)

Bayesian neural networks often approximate the weight-posterior with a Gaussian distribution. However, practical posteriors are often, even locally, highly non-Gaussian, and empirical performance deteriorates. We propose a simple parametric approximate posterior that adapts to the shape of the true posterior through a Riemannian metric that is determined by the log-posterior gradient. We develop a Riemannian Laplace approximation where samples naturally fall into weight-regions with low negative log-posterior. We show that these samples can be drawn by solving a system of ordinary differential equations, which can be done efficiently by leveraging the structure of the Riemannian metric and automatic differentiation. Empirically, we demonstrate that our approach consistently improves over the conventional Laplace approximation across tasks. We further show that, unlike the conventional Laplace approximation, our method is not overly sensitive to the choice of prior, which alleviates a practical pitfall of current approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google