Analytical Approximation of the ELBO Gradient in the Context of the Clutter Problem

要約

我々は、変分推論問題における証拠下限（ELBO）の勾配を近似するための解析的ソリューションを提案します。この場合、統計モデルは、クラッター問題として知られる、無関係なクラッターに埋め込まれたガウス分布の混合から抽出された観測値から構成されるベイジアン ネットワークです。
。
この方法は、勾配演算子を期待値内に移動する再パラメータ化トリックを使用し、尤度が観測データを因数分解するため、変分分布は一般に尤度係数のガウス分布よりもコンパクトにサポートされるという仮定に基づいています。
これにより、個々の尤度係数の効率的な局所近似が可能になり、勾配の期待値を定義する積分の分析解が得られます。
提案された勾配近似を、ELBO を最大化するための EM (Expectation Maximization) アルゴリズムの期待ステップとして統合し、ラプラス近似、期待伝播、平均場変分推論などのベイズ推論における古典的な決定論的アプローチに対してテストします。
提案された方法は、線形計算の複雑さとともに、優れた精度と収束率を示します。

要約(オリジナル)

We propose an analytical solution for approximating the gradient of the Evidence Lower Bound (ELBO) in variational inference problems where the statistical model is a Bayesian network consisting of observations drawn from a mixture of a Gaussian distribution embedded in unrelated clutter, known as the clutter problem. The method employs the reparameterization trick to move the gradient operator inside the expectation and relies on the assumption that, because the likelihood factorizes over the observed data, the variational distribution is generally more compactly supported than the Gaussian distribution in the likelihood factors. This allows efficient local approximation of the individual likelihood factors, which leads to an analytical solution for the integral defining the gradient expectation. We integrate the proposed gradient approximation as the expectation step in an EM (Expectation Maximization) algorithm for maximizing ELBO and test against classical deterministic approaches in Bayesian inference, such as the Laplace approximation, Expectation Propagation and Mean-Field Variational Inference. The proposed method demonstrates good accuracy and rate of convergence together with linear computational complexity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google