On Learning Parallel Pancakes with Mostly Uniform Weights

要約

$ \ mathbb {r}^d $でガウスの$ k $ -mixtures（$ k $ -gmms）の複雑さを研究します。
このタスクは、完全な一般性に複雑な$ d^{\ omega（k）} $を持つことが知られています。
コンポーネントの数のこの指数関数的下限を回避するために、研究は、追加の構造特性を満たすGMMの家族を学習することに焦点を当てています。
自然な仮定は、コンポーネントの重みが指数関数的に小さくなく、コンポーネントが同じ未知の共分散を持っていると仮定しています。
最近の研究では、$ d^{o（\ log（1/w _ {\ min}））} $ – このクラスのgmmsの時間アルゴリズムが与えられました。ここで、$ w _ {\ min} $は最小重量です。
私たちの最初の主な結果は、統一ウェイトの特殊なケースであっても、この準正式上限が本質的に可能であることを示す統計クエリ（SQ）下限です。
具体的には、このような混合物と標準のガウスを区別することはSQハードであることを示します。
さらに、重みの分布がこのタスクの複雑さにどのように影響するかを探ります。
私たちの2番目の主な結果は、体重のほとんどが均一であり、重量のわずかな部分が潜在的に任意である場合、前述のテストタスクの準正式上限です。

要約(オリジナル)

We study the complexity of learning $k$-mixtures of Gaussians ($k$-GMMs) on $\mathbb{R}^d$. This task is known to have complexity $d^{\Omega(k)}$ in full generality. To circumvent this exponential lower bound on the number of components, research has focused on learning families of GMMs satisfying additional structural properties. A natural assumption posits that the component weights are not exponentially small and that the components have the same unknown covariance. Recent work gave a $d^{O(\log(1/w_{\min}))}$-time algorithm for this class of GMMs, where $w_{\min}$ is the minimum weight. Our first main result is a Statistical Query (SQ) lower bound showing that this quasi-polynomial upper bound is essentially best possible, even for the special case of uniform weights. Specifically, we show that it is SQ-hard to distinguish between such a mixture and the standard Gaussian. We further explore how the distribution of weights affects the complexity of this task. Our second main result is a quasi-polynomial upper bound for the aforementioned testing task when most of the weights are uniform while a small fraction of the weights are potentially arbitrary.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google