Black-Box Variational Inference Converges

要約

モンテカルロ変分推論とも呼ばれる、完全なブラックボックス変分推論 (BBVI) に対して最初の収束保証を提供します。
予備調査では BBVI の簡略化バージョン (例: 境界付きドメイン、境界付きサポート、スケールのみの最適化など) を使用しましたが、私たちのセットアップではそのようなアルゴリズムの変更は必要ありません。
私たちの結果は、強い対数凹面および位置スケール変分ファミリーの有無にかかわらず、対数滑らかな事後密度に当てはまります。
また、私たちの分析では、実際に一般的に採用されている特定のアルゴリズム設計の選択、特に変分近似のスケールの非線形パラメータ化により、収束率が最適以下になる可能性があることが明らかになりました。
幸いなことに、近位確率的勾配降下法を使用して BBVI を実行すると、これらの制限が修正され、既知の中で最も強力な収束率の保証が実現されます。
私たちは、大規模なベイジアン推論問題に関する BBVI の他の標準実装と近似 SGD を比較することによって、この理論的洞察を評価します。

要約(オリジナル)

We provide the first convergence guarantee for full black-box variational inference (BBVI), also known as Monte Carlo variational inference. While preliminary investigations worked on simplified versions of BBVI (e.g., bounded domain, bounded support, only optimizing for the scale, and such), our setup does not need any such algorithmic modifications. Our results hold for log-smooth posterior densities with and without strong log-concavity and the location-scale variational family. Also, our analysis reveals that certain algorithm design choices commonly employed in practice, particularly, nonlinear parameterizations of the scale of the variational approximation, can result in suboptimal convergence rates. Fortunately, running BBVI with proximal stochastic gradient descent fixes these limitations, and thus achieves the strongest known convergence rate guarantees. We evaluate this theoretical insight by comparing proximal SGD against other standard implementations of BBVI on large-scale Bayesian inference problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google