Variational Inference with Gaussian Mixture by Entropy Approximation

要約

変分推論は、機械学習の不確実性を定量化するために、扱いにくい事後分布を近似する手法です。
単峰性ガウス分布は通常、パラメトリック分布として選択されますが、多峰性を近似することはほとんどありません。
この論文では、混合ガウス分布をパラメトリック分布として採用します。
ガウス混合による変分推論の主な難しさは、ガウス混合のエントロピーをどのように近似するかということです。
ガウス混合のエントロピーを、分析的に計算できる単峰ガウスのエントロピーの合計として近似します。
さらに、近似がうまく機能する場合を明らかにするために、真のエントロピーと近似エントロピーとの間の近似誤差を理論的に分析します。
具体的には、近似誤差は、ガウス混合の分散の合計に対する平均間の距離の比率によって制御されます。
さらに、比率が無限大になるとゼロに収束します。
この状況は、次元の呪いのために、より高次元のパラメトリック空間で発生する可能性が高いようです。
したがって、この結果は、たとえば多数の重みを想定するニューラル ネットワークで近似がうまく機能することを保証します。

要約(オリジナル)

Variational inference is a technique for approximating intractable posterior distributions in order to quantify the uncertainty of machine learning. Although the unimodal Gaussian distribution is usually chosen as a parametric distribution, it hardly approximates the multimodality. In this paper, we employ the Gaussian mixture distribution as a parametric distribution. A main difficulty of variational inference with the Gaussian mixture is how to approximate the entropy of the Gaussian mixture. We approximate the entropy of the Gaussian mixture as the sum of the entropy of the unimodal Gaussian, which can be analytically calculated. In addition, we theoretically analyze the approximation error between the true entropy and approximated one in order to reveal when our approximation works well. Specifically, the approximation error is controlled by the ratios of the distances between the means to the sum of the variances of the Gaussian mixture. Furthermore, it converges to zero when the ratios go to infinity. This situation seems to be more likely to occur in higher dimensional parametric spaces because of the curse of dimensionality. Therefore, our result guarantees that our approximation works well, for example, in neural networks that assume a large number of weights.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google