Theoretical Error Analysis of Entropy Approximation for Gaussian Mixture

要約

混合ガウス分布は、一般的な確率分布を表すためによく使用されます。
不確実性の推定には混合ガウスを使用することが重要であるにもかかわらず、混合ガウスのエントロピーは解析的に計算できません。
この論文では、混合係数を持つ単峰ガウス分布のエントロピーの合計として表される近似エントロピーを研究します。
この近似は次元に関係なく分析的に計算するのが簡単ですが、理論的な保証はありません。
私たちは、真のエントロピーと近似エントロピーの間の近似誤差を理論的に分析し、この近似がいつ効果的に機能するかを明らかにします。
この誤差は基本的に、混合ガウスの各ガウス成分がどれだけ離れているかによって制御されます。
このような分離を測定するために、混合ガウスの各ガウス成分の分散の合計に対する平均間の距離の比率を導入し、比率が無限大に近づくにつれて誤差がゼロに収束することを明らかにします。
さらに、確率的推定は、この収束状況が高次元空間で発生する可能性が高いことを示しています。
したがって、私たちの結果は、この近似が、多数のパラメーターを含むニューラル ネットワークなどの高次元の問題に対してうまく機能することを保証します。

要約(オリジナル)

Gaussian mixture distributions are commonly employed to represent general probability distributions. Despite the importance of using Gaussian mixtures for uncertainty estimation, the entropy of a Gaussian mixture cannot be calculated analytically. In this paper, we study the approximate entropy represented as the sum of the entropies of unimodal Gaussian distributions with mixing coefficients. This approximation is easy to calculate analytically regardless of dimension, but there is a lack of theoretical guarantees. We theoretically analyze the approximation error between the true and the approximate entropy to reveal when this approximation works effectively. This error is essentially controlled by how far apart each Gaussian component of the Gaussian mixture is. To measure such separation, we introduce the ratios of the distances between the means to the sum of the variances of each Gaussian component of the Gaussian mixture, and we reveal that the error converges to zero as the ratios tend to infinity. In addition, the probabilistic estimate indicates that this convergence situation is more likely to occur in higher-dimensional spaces. Therefore, our results provide a guarantee that this approximation works well for high-dimensional problems, such as neural networks that involve a large number of parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google