Sharp analysis of EM for learning mixtures of pairwise differences

要約

ペアワイズ比較設計からのランダム サンプルと線形回帰の対称混合を考慮します。これは、一種のユークリッド距離幾何問題のノイズの多いバージョンと見なすことができます。
期待値最大化 (EM) アルゴリズムをグラウンド トゥルースの周囲で局所的に分析し、シーケンスが線形に収束することを確立し、反復の推定誤差に対する $\ell_\infty$-norm 保証を提供します。
さらに、EM 系列の極限が $\ell_2$ ノルムにおける鋭い推定速度を達成し、情報理論的に最適な定数に一致することを示します。
また、シミュレーションを通じて、この設定ではランダムな初期化からの収束がはるかに繊細であり、一般的には収束しないように見えることも主張します。
私たちの結果は、共変量分布が適切に構造化されている場合、EM アルゴリズムがいくつかの独特な動作を示す可能性があることを示しています。

要約(オリジナル)

We consider a symmetric mixture of linear regressions with random samples from the pairwise comparison design, which can be seen as a noisy version of a type of Euclidean distance geometry problem. We analyze the expectation-maximization (EM) algorithm locally around the ground truth and establish that the sequence converges linearly, providing an $\ell_\infty$-norm guarantee on the estimation error of the iterates. Furthermore, we show that the limit of the EM sequence achieves the sharp rate of estimation in the $\ell_2$-norm, matching the information-theoretically optimal constant. We also argue through simulation that convergence from a random initialization is much more delicate in this setting, and does not appear to occur in general. Our results show that the EM algorithm can exhibit several unique behaviors when the covariate distribution is suitably structured.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google