Algorithms for mean-field variational inference via polyhedral optimization in the Wasserstein space

要約

ワッサースタイン空間を介して有限次元の多面体サブセットの理論を開発し、一次方法を介して機能を最適化します。
私たちの主なアプリケーションは、製品測定$ \ pi^\ star $による$ \ mathbb {r}^d $を超える分布$ \ pi $を近似しようとする平均フィールド変異推論の問題です。
$ \ pi $がlog-concaveとlog-smoothの場合、（1）$ \ pi^\ star $がミニマイザー$ \ pi^\ star_ \ diamond $ of the kl divergence over a \ econd {poly-hedral} set $ \ diamond $ \ mathcal {p} _ \ diamond $ for（2）s _ _ _ \ diamond $ a and（2）set $ \ diavence of a buling（poly-hedral）に近いことを証明します。
$ \ text {kl}（\ cdot \ | \ pi）$ $ \ mathcal {p} _ \ diamond $を超える$ \ r^d $を超える加速勾配降下に基づいて。
分析の副産物として、MFVIの勾配ベースのアルゴリズムの最初のエンドツーエンド分析を取得します。

要約(オリジナル)

We develop a theory of finite-dimensional polyhedral subsets over the Wasserstein space and optimization of functionals over them via first-order methods. Our main application is to the problem of mean-field variational inference, which seeks to approximate a distribution $\pi$ over $\mathbb{R}^d$ by a product measure $\pi^\star$. When $\pi$ is strongly log-concave and log-smooth, we provide (1) approximation rates certifying that $\pi^\star$ is close to the minimizer $\pi^\star_\diamond$ of the KL divergence over a \emph{polyhedral} set $\mathcal{P}_\diamond$, and (2) an algorithm for minimizing $\text{KL}(\cdot\|\pi)$ over $\mathcal{P}_\diamond$ based on accelerated gradient descent over $\R^d$. As a byproduct of our analysis, we obtain the first end-to-end analysis for gradient-based algorithms for MFVI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google