On Single Index Models beyond Gaussian Data

要約

スパース高次元関数は、浅いニューラル ネットワークを使用して勾配降下法の動作を研究するための豊富なフレームワークとして誕生し、線形モデルを超えて特徴学習を実行できる機能を示しています。
これらの関数の中で最も単純なものは単一インデックス モデル $f(x) = \phi( x \cdot \theta^*)$ です。ここでラベルは、任意の非線形スカラー リンク関数 $\phi$ を適用して生成されます。
入力データの未知の 1 次元射影 $\theta^*$。
ガウス データに焦点を当てることにより、いくつかの最近の研究は、いわゆる情報指数 (リンク関数の規則性に関連する) が必要なサンプルの複雑さを制御するという注目すべき全体像を構築しました。
本質的に、これらのツールはガウス分布の安定性と球面対称性を利用します。
この研究では、\cite{arous2020online} のフレームワークに基づいて構築し、安定性と対称性の両方が侵害される可能性があるガウス設定を超えたこの図の拡張を探索します。
$\phi$ が既知である植え付け環境に焦点を当てた私たちの主な結果は、以前の研究を拡張する仮定の下で、確率的勾配降下法が高次元領域で未知の方向 $\theta^*$ を効率的に回復できることを証明しています。
、wu2022学習}。

要約(オリジナル)

Sparse high-dimensional functions have arisen as a rich framework to study the behavior of gradient-descent methods using shallow neural networks, showcasing their ability to perform feature learning beyond linear models. Amongst those functions, the simplest are single-index models $f(x) = \phi( x \cdot \theta^*)$, where the labels are generated by an arbitrary non-linear scalar link function $\phi$ applied to an unknown one-dimensional projection $\theta^*$ of the input data. By focusing on Gaussian data, several recent works have built a remarkable picture, where the so-called information exponent (related to the regularity of the link function) controls the required sample complexity. In essence, these tools exploit the stability and spherical symmetry of Gaussian distributions. In this work, building from the framework of \cite{arous2020online}, we explore extensions of this picture beyond the Gaussian setting, where both stability or symmetry might be violated. Focusing on the planted setting where $\phi$ is known, our main results establish that Stochastic Gradient Descent can efficiently recover the unknown direction $\theta^*$ in the high-dimensional regime, under assumptions that extend previous works \cite{yehudai2020learning,wu2022learning}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google