Wasserstein Gradient Flow over Variational Parameter Space for Variational Inference

要約

変分推論 (VI) は、変分分布を真の事後分布と厳密に一致させるように変分パラメータを調整する最適化問題としてキャストできます。
最適化タスクには、ブラックボックス VI のバニラ勾配降下法、または自然勾配 VI の自然勾配降下法を通じてアプローチできます。
この作業では、\textit{変動パラメータ空間}上で定義された確率分布に関係する目標の最適化として VI を再構成します。
続いて、この最適化問題に取り組むための Wasserstein 勾配降下法を提案します。
特に、最適化手法、つまりブラック ボックス VI と自然勾配 VI は、提案されている Wasserstein 勾配降下法の特定のインスタンスとして再解釈できます。
最適化の効率を高めるために、離散勾配流を数値的に解くための実用的な手法を開発します。
理論的分析によって補足された合成データセットでの実証実験を通じて、提案された方法の有効性を検証します。

要約(オリジナル)

Variational inference (VI) can be cast as an optimization problem in which the variational parameters are tuned to closely align a variational distribution with the true posterior. The optimization task can be approached through vanilla gradient descent in black-box VI or natural-gradient descent in natural-gradient VI. In this work, we reframe VI as the optimization of an objective that concerns probability distributions defined over a \textit{variational parameter space}. Subsequently, we propose Wasserstein gradient descent for tackling this optimization problem. Notably, the optimization techniques, namely black-box VI and natural-gradient VI, can be reinterpreted as specific instances of the proposed Wasserstein gradient descent. To enhance the efficiency of optimization, we develop practical methods for numerically solving the discrete gradient flows. We validate the effectiveness of the proposed methods through empirical experiments on a synthetic dataset, supplemented by theoretical analyses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google