Variational Inference with Mixtures of Isotropic Gaussians

要約

変分推論（VI）は、ベイジアン推論の一般的なアプローチであり、パラメトリックファミリ内の後部分布の最良の近似を探すため、通常（逆）カルバック繰り返し（kl）の発散である損失を最小限に抑えます。
この論文では、次のパラメトリックファミリーに焦点を当てています。等方性ガウスの混合物（つまり、アイデンティティに比例した対角線共分散マトリックスを使用）と均一な重みです。
私たちはバリエーションフレームワークを開発し、このファミリに適した効率的なアルゴリズムを提供します。
一般的な共分散マトリックスとガウスの混合物とは対照的に、この選択は、メモリと計算上効率である一方で、マルチモーダルベイジアン後期の正確な近似のバランスを示します。
私たちのアルゴリズムは、混合成分の位置（ガウスのモード）の位置に勾配降下を実装し、（エントロピー的な）ミラーまたはビュアの分散パラメーターのいずれかです。
数値実験に関するアルゴリズムのパフォーマンスを示します。

要約(オリジナル)

Variational inference (VI) is a popular approach in Bayesian inference, that looks for the best approximation of the posterior distribution within a parametric family, minimizing a loss that is typically the (reverse) Kullback-Leibler (KL) divergence. In this paper, we focus on the following parametric family: mixtures of isotropic Gaussians (i.e., with diagonal covariance matrices proportional to the identity) and uniform weights. We develop a variational framework and provide efficient algorithms suited for this family. In contrast with mixtures of Gaussian with generic covariance matrices, this choice presents a balance between accurate approximations of multimodal Bayesian posteriors, while being memory and computationally efficient. Our algorithms implement gradient descent on the location of the mixture components (the modes of the Gaussians), and either (an entropic) Mirror or Bures descent on their variance parameters. We illustrate the performance of our algorithms on numerical experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google