Learning single-index models via harmonic decomposition

要約

シングルインデックスモデルの学習の問題を研究します。ここで、ラベル$ y \ in \ mathbb {r} $は、入力$ \ boldsymbol {x} \ in \ mathbb {r}^d $に依存します。
以前の研究では、ガウスの入力下では、$ \ boldsymbol {w} _*$を回復する統計的および計算上の複雑さが、リンク関数のエルマイト拡張によって支配されることが示されています。
この論文では、新しい視点を提案します。「エルミット多項式」ではなく、「球状の高調波」は、本質的な「回転対称性」を捉えているため、この問題の自然な基礎を提供すると主張します。
この洞察に基づいて、私たちはarbitrary意的に対称的な入力分布の下で単一インデックスモデルを学習することの複雑さを特徴付けます。
最適なサンプルの複雑さまたは最適なランタイムのいずれかをそれぞれ達成し、両方を達成する推定値が一般的に存在しない可能性があると主張する、テンソルの展開とオンラインSGDに基づいて、推定器の2つのファミリーを導入します。
ガウスの入力に特化した場合、私たちの理論は既存の結果を回復して明確にするだけでなく、以前見落とされていた新しい現象を明らかにします。

要約(オリジナル)

We study the problem of learning single-index models, where the label $y \in \mathbb{R}$ depends on the input $\boldsymbol{x} \in \mathbb{R}^d$ only through an unknown one-dimensional projection $\langle \boldsymbol{w}_*,\boldsymbol{x}\rangle$. Prior work has shown that under Gaussian inputs, the statistical and computational complexity of recovering $\boldsymbol{w}_*$ is governed by the Hermite expansion of the link function. In this paper, we propose a new perspective: we argue that ‘spherical harmonics’ — rather than ‘Hermite polynomials’ — provide the natural basis for this problem, as they capture its intrinsic ‘rotational symmetry’. Building on this insight, we characterize the complexity of learning single-index models under arbitrary spherically symmetric input distributions. We introduce two families of estimators — based on tensor unfolding and online SGD — that respectively achieve either optimal sample complexity or optimal runtime, and argue that estimators achieving both may not exist in general. When specialized to Gaussian inputs, our theory not only recovers and clarifies existing results but also reveals new phenomena that had previously been overlooked.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google