Provable convergence guarantees for black-box variational inference

要約

ブラックボックス変分推論は広く使用されていますが、その確率的最適化が成功するという証拠はありません。
これは、既存の確率的最適化の証明における理論的なギャップ、つまり、異常なノイズ境界を持つ勾配推定器と、複合的で滑らかでない目的の課題によるものであると考えられます。
密なガウス変分族の場合、再パラメータ化に基づく既存の勾配推定器が二次ノイズ境界を満たし、この境界を使用して近似および投影された確率的勾配降下に新しい収束保証を与えることが観察されます。
これにより、ブラックボックス変分推論が現実的な推論問題に収束するという最初の厳密な保証が提供されます。

要約(オリジナル)

While black-box variational inference is widely used, there is no proof that its stochastic optimization succeeds. We suggest this is due to a theoretical gap in existing stochastic optimization proofs-namely the challenge of gradient estimators with unusual noise bounds, and a composite non-smooth objective. For dense Gaussian variational families, we observe that existing gradient estimators based on reparameterization satisfy a quadratic noise bound and give novel convergence guarantees for proximal and projected stochastic gradient descent using this bound. This provides the first rigorous guarantee that black-box variational inference converges for realistic inference problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google