Globally Convergent Variational Inference

要約

変分推論 (VI) では、数値最適化を通じて一連の分布から事後分布の近似が選択されます。
証拠下限 (ELBO) として知られる最も一般的な変分目的関数では、局所的な最適値への収束のみが保証されます。
この作業では、代わりに、特定の VI メソッドのグローバル コンバージェンスを確立します。
この VI 法は、ニューラル事後推定 (NPE) のインスタンスと考えることができ、ニューラル ネットワークによってパラメーター化された変分分布に適合する包括的 (前方) KL 発散の期待を最小限に抑えます。
私たちの収束結果は、ニューラル タンジェント カーネル (NTK) に依存して、関数空間における変分目的の考慮から生じる勾配ダイナミクスを特徴付けます。
固定された正定値ニューラル タンジェント カーネルの漸近領域において、変分目的が再生カーネル ヒルベルト空間 (RKHS) 内で一意の解を許容する条件を確立します。
次に、関数空間における勾配降下ダイナミクスがこの固有の関数に収束することを示します。
アブレーション研究と実際の問題において、我々は、その結果が非漸近有限ニューロン設定における NPE の挙動を説明していることを実証し、浅い局所最適化に収束することが多い ELBO ベースの最適化よりも NPE が優れていることを示しています。

要約(オリジナル)

In variational inference (VI), an approximation of the posterior distribution is selected from a family of distributions through numerical optimization. With the most common variational objective function, known as the evidence lower bound (ELBO), only convergence to a local optimum can be guaranteed. In this work, we instead establish the global convergence of a particular VI method. This VI method, which may be considered an instance of neural posterior estimation (NPE), minimizes an expectation of the inclusive (forward) KL divergence to fit a variational distribution that is parameterized by a neural network. Our convergence result relies on the neural tangent kernel (NTK) to characterize the gradient dynamics that arise from considering the variational objective in function space. In the asymptotic regime of a fixed, positive-definite neural tangent kernel, we establish conditions under which the variational objective admits a unique solution in a reproducing kernel Hilbert space (RKHS). Then, we show that the gradient descent dynamics in function space converge to this unique function. In ablation studies and practical problems, we demonstrate that our results explain the behavior of NPE in non-asymptotic finite-neuron settings, and show that NPE outperforms ELBO-based optimization, which often converges to shallow local optima.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google