A Trust-Region Method for Graphical Stein Variational Inference

要約

スタイン変分推論 (SVI) は、サンプルベースの近似ベイズ推論手法であり、サンプルの位置を共同最適化することでサンプル セットを生成し、ターゲットの確率分布との不一致の情報理論的尺度を最小限に抑えます。
したがって、SVI は、従来の (ランダム サンプリング ベースの) 代替手段よりも高速かつ大幅にサンプル効率の高いベイズ推論アプローチを提供します。
しかし、既存の SVI 手法で採用されている最適化手法は、ターゲットの分布が高次元、条件が不十分、または非凸である問題に対処するのに苦労しており、実際の適用範囲が大幅に制限されています。
このペーパーでは、これらの課題のそれぞれにうまく対処する、SVI のための新しい信頼領域最適化アプローチを提案します。
私たちの方法は、ターゲット分布の条件付き独立性（高次元のスケーリングを達成するため）と二次情報（不十分なコンディショニングに対処するため）を活用することで、SVI での以前の研究に基づいて構築されています。さらに、効果的な適応ステップ制御手順を提供します。
困難な非凸最適化問題の収束を保証します。
実験結果は、私たちの手法が以前の SVI 手法よりも収束率とサンプル精度の両方で優れた数値性能を達成し、高次元分布でより適切にスケーリングできることを示しています。

要約(オリジナル)

Stein variational inference (SVI) is a sample-based approximate Bayesian inference technique that generates a sample set by jointly optimizing the samples’ locations to minimize an information-theoretic measure of discrepancy with the target probability distribution. SVI thus provides a fast and significantly more sample-efficient approach to Bayesian inference than traditional (random-sampling-based) alternatives. However, the optimization techniques employed in existing SVI methods struggle to address problems in which the target distribution is high-dimensional, poorly-conditioned, or non-convex, which severely limits the range of their practical applicability. In this paper, we propose a novel trust-region optimization approach for SVI that successfully addresses each of these challenges. Our method builds upon prior work in SVI by leveraging conditional independences in the target distribution (to achieve high-dimensional scaling) and second-order information (to address poor conditioning), while additionally providing an effective adaptive step control procedure, which is essential for ensuring convergence on challenging non-convex optimization problems. Experimental results show our method achieves superior numerical performance, both in convergence rate and sample accuracy, and scales better in high-dimensional distributions, than previous SVI techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google