Sharp analysis of EM for learning mixtures of pairwise differences

要約

ペアワイズ比較計画からのランダム サンプルを使用した線形回帰の対称混合を検討します。これは、一種のユークリッド距離幾何問題のノイズ バージョンと見なすことができます。
期待値最大化 (EM) アルゴリズムをグラウンド トゥルース周辺で局所的に分析し、シーケンスが線形に収束することを確立し、反復の推定誤差に $\ell_\infty$ ノルム保証を提供します。
さらに、EM シーケンスの極限が $\ell_2$ ノルムで急激な推定率を達成し、情報理論的に最適な定数と一致することを示します。
また、ランダムな初期化からの収束は、この設定でははるかにデリケートであり、一般的には発生しないように見えることも、シミュレーションを通じて主張しています。
私たちの結果は、共変量分布が適切に構造化されている場合、EM アルゴリズムがいくつかのユニークな動作を示すことができることを示しています。

要約(オリジナル)

We consider a symmetric mixture of linear regressions with random samples from the pairwise comparison design, which can be seen as a noisy version of a type of Euclidean distance geometry problem. We analyze the expectation-maximization (EM) algorithm locally around the ground truth and establish that the sequence converges linearly, providing an $\ell_\infty$-norm guarantee on the estimation error of the iterates. Furthermore, we show that the limit of the EM sequence achieves the sharp rate of estimation in the $\ell_2$-norm, matching the information-theoretically optimal constant. We also argue through simulation that convergence from a random initialization is much more delicate in this setting, and does not appear to occur in general. Our results show that the EM algorithm can exhibit several unique behaviors when the covariate distribution is suitably structured.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google