Algorithms for mean-field variational inference via polyhedral optimization in the Wasserstein space

要約

私たちは、Wasserstein 空間上の有限次元多面体サブセットの理論と、一次法による汎関数の最適化を開発します。
私たちの主な応用は平均場変分推論の問題であり、積測度 $\pi^\star$ によって $\mathbb{R}^d$ 上の分布 $\pi$ を近似しようとします。
$\pi$ が強く対数凹で対数平滑である場合、$\pi^\star$ が KL 発散の最小値 $\pi^\star_\diamond$ に近いことを証明する近似率 (1) を提供します。
\emph{多面体} セット $\mathcal{P}_\diamond$、および (2) $\mathcal{P}_\ に対する $\text{KL}(\cdot\|\pi)$ を最小化するアルゴリズム
加速された複雑さ $O(\sqrt \kappa \log(\kappa d/\varepsilon^2))$ を備えたダイヤモンド$。ここで、$\kappa$ は $\pi$ の条件番号です。

要約(オリジナル)

We develop a theory of finite-dimensional polyhedral subsets over the Wasserstein space and optimization of functionals over them via first-order methods. Our main application is to the problem of mean-field variational inference, which seeks to approximate a distribution $\pi$ over $\mathbb{R}^d$ by a product measure $\pi^\star$. When $\pi$ is strongly log-concave and log-smooth, we provide (1) approximation rates certifying that $\pi^\star$ is close to the minimizer $\pi^\star_\diamond$ of the KL divergence over a \emph{polyhedral} set $\mathcal{P}_\diamond$, and (2) an algorithm for minimizing $\text{KL}(\cdot\|\pi)$ over $\mathcal{P}_\diamond$ with accelerated complexity $O(\sqrt \kappa \log(\kappa d/\varepsilon^2))$, where $\kappa$ is the condition number of $\pi$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google