SQ Lower Bounds for Learning Bounded Covariance GMMs

要約

共通の未知の有界共分散行列を使用して、分離されたガウスの混合学習の複雑さを研究します。
具体的には、$P= \sum_{i=1}^k w_i \mathcal{N}(\boldsymbol \mu_i,\ という形式の $\mathbb{R}^d$ に関する混合ガウス モデル (GMM) の学習に焦点を当てます。
mathbf \Sigma_i)$、ここで $\mathbf \Sigma_i = \mathbf \Sigma \preceq \mathbf I$ および $\min_{i \neq j} \|
\boldsymbol \mu_i – \boldsymbol \mu_j\|_2 \geq k^\epsilon$ は $\epsilon>0$ です。
このファミリーの GMM の既知の学習アルゴリズムの複雑さは $(dk)^{O(1/\epsilon)}$ です。
この研究では、この問題に対する統計クエリ (SQ) アルゴリズムには少なくとも $d^{\Omega(1/\epsilon)}$ の複雑さが必要であることを証明します。
分離が $k^{1/2}$ 程度である特殊なケースでは、正しい指数を備えたきめの細かい SQ 下限をさらに取得します。
SQ 下限は、低次の多項式テストについても同様の下限を意味します。
概念的には、私たちの結果は、この問題に対する既知のアルゴリズムがほぼ最善であるという証拠を提供します。

要約(オリジナル)

We study the complexity of learning mixtures of separated Gaussians with common unknown bounded covariance matrix. Specifically, we focus on learning Gaussian mixture models (GMMs) on $\mathbb{R}^d$ of the form $P= \sum_{i=1}^k w_i \mathcal{N}(\boldsymbol \mu_i,\mathbf \Sigma_i)$, where $\mathbf \Sigma_i = \mathbf \Sigma \preceq \mathbf I$ and $\min_{i \neq j} \| \boldsymbol \mu_i – \boldsymbol \mu_j\|_2 \geq k^\epsilon$ for some $\epsilon>0$. Known learning algorithms for this family of GMMs have complexity $(dk)^{O(1/\epsilon)}$. In this work, we prove that any Statistical Query (SQ) algorithm for this problem requires complexity at least $d^{\Omega(1/\epsilon)}$. In the special case where the separation is on the order of $k^{1/2}$, we additionally obtain fine-grained SQ lower bounds with the correct exponent. Our SQ lower bounds imply similar lower bounds for low-degree polynomial tests. Conceptually, our results provide evidence that known algorithms for this problem are nearly best possible.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google