Exact Manifold Gaussian Variational Bayes

要約

複雑なモデルにおける変分推論 (VI) の最適化アルゴリズムを提案します。
私たちのアプローチは、変分空間がリーマン多様体である自然な勾配更新に依存しています。
変分共分散行列の正定制約を暗黙的に満たすガウス変分推論のための効率的なアルゴリズムを開発します。
当社の正確多様体ガウス変分ベイズ (EMGVB) は、正確かつシンプルな更新ルールを提供し、実装が簡単です。
EMGVB は、そのブラック ボックスの性質により、複雑なモデルの VI に対してすぐに使用できるソリューションとして機能します。
5 つのデータセットにわたって、さまざまな統計モデル、計量経済モデル、深層学習モデルに対する実現可能なアプローチを経験的に検証し、ベースライン手法との比較でそのパフォーマンスを議論します。

要約(オリジナル)

We propose an optimization algorithm for Variational Inference (VI) in complex models. Our approach relies on natural gradient updates where the variational space is a Riemann manifold. We develop an efficient algorithm for Gaussian Variational Inference that implicitly satisfies the positive definite constraint on the variational covariance matrix. Our Exact manifold Gaussian Variational Bayes (EMGVB) provides exact but simple update rules and is straightforward to implement. Due to its black-box nature, EMGVB stands as a ready-to-use solution for VI in complex models. Over five datasets, we empirically validate our feasible approach on different statistical, econometric, and deep learning models, discussing its performance with respect to baseline methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google