A Unified Perspective on Natural Gradient Variational Inference with Gaussian Mixture Models

要約

混合ガウス モデル (GMM) を使用した変分推論により、最大数百次元の扱いにくいターゲット分布の非常に扱いやすいマルチモーダル近似の学習が可能になります。
現在、GMM ベースの変分推論に最も効果的な 2 つの方法である VIPS と iBayes-GMM は、どちらも個々のコンポーネントとその重みに対して独立した自然勾配更新を採用しています。
我々は、実際の実装と理論上の保証は異なるものの、それらの派生アップデートが同等であることを初めて示します。
両方のアプローチを区別するいくつかの設計上の選択肢、つまりサンプルの選択、自然勾配推定、ステップサイズの適応、および信頼領域が強制されるかどうか、またはコンポーネントの数が適応されるかどうかを特定します。
私たちは、どちらのアプローチでも、学習された近似の品質はそれぞれの設計選択によって大きく影響される可能性があると主張します。混合モデルからのサンプルを使用して個々のコンポーネントを更新することにより、iBayes-GMM は低重みのコンポーネントに対して有意義な更新を生成できないことがよくあります。
自然勾配を推定するために 0 次の方法を使用するため、VIPS は高次元の問題にうまく対応できません。
さらに、(VIPS によって使用される) 情報幾何学的信頼領域は、一次自然勾配推定を使用する場合でも効果的であり、多くの場合、iBayes-GMM によって使用される改良ベイズ学習規則 (iBLR) 更新を上回るパフォーマンスを示すことを示します。
私たちは設計の選択の効果を体系的に評価し、ハイブリッドアプローチが以前の両方の研究よりも大幅に優れていることを示しました。
この研究とともに、ガウス混合モデルを使用した自然勾配変分推論のための高度にモジュール化された効率的な実装を公開します。これは、設計選択肢の 432 の異なる組み合わせをサポートし、すべての実験の再現を容易にし、実践者にとって価値があることが証明される可能性があります。

要約(オリジナル)

Variational inference with Gaussian mixture models (GMMs) enables learning of highly tractable yet multi-modal approximations of intractable target distributions with up to a few hundred dimensions. The two currently most effective methods for GMM-based variational inference, VIPS and iBayes-GMM, both employ independent natural gradient updates for the individual components and their weights. We show for the first time, that their derived updates are equivalent, although their practical implementations and theoretical guarantees differ. We identify several design choices that distinguish both approaches, namely with respect to sample selection, natural gradient estimation, stepsize adaptation, and whether trust regions are enforced or the number of components adapted. We argue that for both approaches, the quality of the learned approximations can heavily suffer from the respective design choices: By updating the individual components using samples from the mixture model, iBayes-GMM often fails to produce meaningful updates to low-weight components, and by using a zero-order method for estimating the natural gradient, VIPS scales badly to higher-dimensional problems. Furthermore, we show that information-geometric trust-regions (used by VIPS) are effective even when using first-order natural gradient estimates, and often outperform the improved Bayesian learning rule (iBLR) update used by iBayes-GMM. We systematically evaluate the effects of design choices and show that a hybrid approach significantly outperforms both prior works. Along with this work, we publish our highly modular and efficient implementation for natural gradient variational inference with Gaussian mixture models, which supports 432 different combinations of design choices, facilitates the reproduction of all our experiments, and may prove valuable for the practitioner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google