The Computational Complexity of Learning Gaussian Single-Index Models

要約

単一インデックス モデルは、植え付けられた構造を伴う高次元の回帰問題であり、ラベルは、一般的な非線形、および潜在的に非決定的な変換を介した入力の未知の 1 次元投影に依存します。
そのため、これらは統計的推論タスクの広範なクラスを網羅し、高次元領域における統計的および計算上のトレードオフを研究するための豊富なテンプレートを提供します。
隠れた方向を回復するための情報理論的なサンプルの複雑さは $d$ 次元で線形ですが、統計的クエリ (SQ) と低次多項式 (LDP) フレームワークの両方で計算効率の高いアルゴリズムには必ず $ が必要であることを示します。
\Omega(d^{k^\star/2})$ サンプル。$k^\star$ は、明示的に特徴付けるモデルに関連付けられた「生成」指数です。
さらに、部分トレース アルゴリズムを使用してマッチングの上限を確立することにより、このサンプルの複雑さも十分であることを示します。
したがって、我々の結果は、$k^\star>2$ の場合には常に、(SQ クラスとLDP クラスの両方の下で) 計算と統計の急激なギャップの証拠を提供します。
研究を完了するために、任意に大きな生成指数 $k^\star$ を持つ滑らかなリプシッツ決定論的目標関数の例を提供します。

要約(オリジナル)

Single-Index Models are high-dimensional regression problems with planted structure, whereby labels depend on an unknown one-dimensional projection of the input via a generic, non-linear, and potentially non-deterministic transformation. As such, they encompass a broad class of statistical inference tasks, and provide a rich template to study statistical and computational trade-offs in the high-dimensional regime. While the information-theoretic sample complexity to recover the hidden direction is linear in the dimension $d$, we show that computationally efficient algorithms, both within the Statistical Query (SQ) and the Low-Degree Polynomial (LDP) framework, necessarily require $\Omega(d^{k^\star/2})$ samples, where $k^\star$ is a ‘generative’ exponent associated with the model that we explicitly characterize. Moreover, we show that this sample complexity is also sufficient, by establishing matching upper bounds using a partial-trace algorithm. Therefore, our results provide evidence of a sharp computational-to-statistical gap (under both the SQ and LDP class) whenever $k^\star>2$. To complete the study, we provide examples of smooth and Lipschitz deterministic target functions with arbitrarily large generative exponents $k^\star$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google