Learning Overspecified Gaussian Mixtures Exponentially Fast with the EM Algorithm

要約

過剰に指定されたガウス混合モデルに適用されたとき、EMアルゴリズムの収束特性を調査します。つまり、適合モデルのコンポーネントの数が真の基礎分布の数を超える場合です。
コンポーネントの平均が通常のシンプレックスの頂点に配置され、混合重量が非偏光条件を満たす構造化された構成に焦点を当てると、母集団EMアルゴリズムがKullback-Leibler（KL）距離の観点から指数関数的に速く収束することを示します。
私たちの分析は、最適な周辺の近隣の負の対数尤度関数の強い凸性を活用し、polyak-{\ l} ojasiewiczの不等式を利用して、$ \ epsilon $ -Accurate近似が$ o（\ log（1/\ epsilon））$ iterationsで達成できることを確立します。
さらに、これらの結果は、明示的な統計的収束保証を導き出すことにより、有限サンプル設定に拡張します。
合成データセットの数値実験は、私たちの理論的発見を裏付け、従来のサブリンレートと比較して収束の劇的な加速を強調しています。
この作業は、特別な設定におけるEMの行動の理解を深めるだけでなく、高次元クラスタリングおよび密度推定タスクの初期化戦略とモデル設計に関する実用的な洞察を提供します。

要約(オリジナル)

We investigate the convergence properties of the EM algorithm when applied to overspecified Gaussian mixture models — that is, when the number of components in the fitted model exceeds that of the true underlying distribution. Focusing on a structured configuration where the component means are positioned at the vertices of a regular simplex and the mixture weights satisfy a non-degeneracy condition, we demonstrate that the population EM algorithm converges exponentially fast in terms of the Kullback-Leibler (KL) distance. Our analysis leverages the strong convexity of the negative log-likelihood function in a neighborhood around the optimum and utilizes the Polyak-{\L}ojasiewicz inequality to establish that an $\epsilon$-accurate approximation is achievable in $O(\log(1/\epsilon))$ iterations. Furthermore, we extend these results to a finite-sample setting by deriving explicit statistical convergence guarantees. Numerical experiments on synthetic datasets corroborate our theoretical findings, highlighting the dramatic acceleration in convergence compared to conventional sublinear rates. This work not only deepens the understanding of EM’s behavior in overspecified settings but also offers practical insights into initialization strategies and model design for high-dimensional clustering and density estimation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google