Particle Mean Field Variational Bayes

要約

Mean Field Variational Bayes (MFVB) メソッドは、ベイジアン推論の最も計算効率の高い手法の 1 つです。
ただし、その使用は、共役事前確率を持つモデルまたは分析計算を必要とするモデルに制限されています。
この論文では、MFVB 法の適用性を大幅に拡大する新しい粒子ベースの MFVB アプローチを提案します。
ワッサースタイン勾配流とランジュバン拡散ダイナミクスの間の接続を利用して新しい方法の理論的基礎を確立し、ベイジアン ロジスティック回帰、確率的ボラティリティ、およびディープ ニューラル ネットワークを使用してこのアプローチの有効性を実証します。

要約(オリジナル)

The Mean Field Variational Bayes (MFVB) method is one of the most computationally efficient techniques for Bayesian inference. However, its use has been restricted to models with conjugate priors or those that require analytical calculations. This paper proposes a novel particle-based MFVB approach that greatly expands the applicability of the MFVB method. We establish the theoretical basis of the new method by leveraging the connection between Wasserstein gradient flows and Langevin diffusion dynamics, and demonstrate the effectiveness of this approach using Bayesian logistic regression, stochastic volatility, and deep neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google