Batch and match: black-box variational inference with a score-based divergence

要約

ブラックボックス変分推論 (BBVI) のほとんどの主要な実装は、確率論的証拠下限 (ELBO) の最適化に基づいています。
しかし、BBVI へのこのようなアプローチは、勾配推定値の分散が大きく、ハイパーパラメーターに対する感度が高いため、収束が遅くなることがよくあります。
この研究では、スコアベースの発散に基づく BBVI の代替アプローチであるバッチ アンド マッチ (BaM) を提案します。
特に、このスコアベースの発散は、完全な共分散行列を持つガウス変分族の閉形式近似更新によって最適化できます。
ターゲット分布がガウス分布である場合の BaM の収束を解析し、無限バッチ サイズの制限内で変分パラメーターの更新が指数関数的に迅速にターゲットの平均と共分散に収束することを証明します。
また、階層的および深い生成モデルにおける事後推論から生じるガウスおよび非ガウスのターゲット分布に対する BaM のパフォーマンスも評価します。
これらの実験では、BaM は通常、ELBO 最大化に基づく BBVI の主要な実装よりも少ない (場合によっては大幅に少ない) 勾配評価で収束することがわかりました。

要約(オリジナル)

Most leading implementations of black-box variational inference (BBVI) are based on optimizing a stochastic evidence lower bound (ELBO). But such approaches to BBVI often converge slowly due to the high variance of their gradient estimates and their sensitivity to hyperparameters. In this work, we propose batch and match (BaM), an alternative approach to BBVI based on a score-based divergence. Notably, this score-based divergence can be optimized by a closed-form proximal update for Gaussian variational families with full covariance matrices. We analyze the convergence of BaM when the target distribution is Gaussian, and we prove that in the limit of infinite batch size the variational parameter updates converge exponentially quickly to the target mean and covariance. We also evaluate the performance of BaM on Gaussian and non-Gaussian target distributions that arise from posterior inference in hierarchical and deep generative models. In these experiments, we find that BaM typically converges in fewer (and sometimes significantly fewer) gradient evaluations than leading implementations of BBVI based on ELBO maximization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google