Sample and Computationally Efficient Robust Learning of Gaussian Single-Index Models

要約

単一インデックス モデル (SIM) は、$\sigma(\mathbf{w}^{\ast} \cdot \mathbf{x})$ という形式の関数です。ここで、$\sigma: \mathbb{R} \to
\mathbb{R}$ は既知のリンク関数であり、$\mathbf{w}^{\ast}$ は隠れ単位ベクトルです。
ガウス分布の下での $L^2_2$ 損失に関して、不可知論的 (別名、敵対的ラベル ノイズ) モデルで SIM を学習するタスクを研究します。
私たちの主な結果は、$O(\mathrm{OPT})+\epsilon$ の $L^2_2$-error を達成するサンプルの計算効率の高い適切な学習器です。ここで、$\mathrm{OPT}$ は最適損失です。
私たちのアルゴリズムのサンプル複雑さは $\tilde{O}(d^{\lceil k^{\ast}/2\rceil}+d/\epsilon)$ です。ここで $k^{\ast}$ は情報です
-最初の非ゼロのエルミート係数の次数に対応する $\sigma$ の指数。
このサンプル境界は、実現可能な設定であっても、既知の CSQ 下限とほぼ一致します。
この設定における以前のアルゴリズム作業は、実現可能な場合または半ランダム ノイズの存在下での学習に焦点を当てていました。
以前の計算効率の高いロバスト学習器では、リンク関数に関して非常に強力な仮定が必要でした。

要約(オリジナル)

A single-index model (SIM) is a function of the form $\sigma(\mathbf{w}^{\ast} \cdot \mathbf{x})$, where $\sigma: \mathbb{R} \to \mathbb{R}$ is a known link function and $\mathbf{w}^{\ast}$ is a hidden unit vector. We study the task of learning SIMs in the agnostic (a.k.a. adversarial label noise) model with respect to the $L^2_2$-loss under the Gaussian distribution. Our main result is a sample and computationally efficient agnostic proper learner that attains $L^2_2$-error of $O(\mathrm{OPT})+\epsilon$, where $\mathrm{OPT}$ is the optimal loss. The sample complexity of our algorithm is $\tilde{O}(d^{\lceil k^{\ast}/2\rceil}+d/\epsilon)$, where $k^{\ast}$ is the information-exponent of $\sigma$ corresponding to the degree of its first non-zero Hermite coefficient. This sample bound nearly matches known CSQ lower bounds, even in the realizable setting. Prior algorithmic work in this setting had focused on learning in the realizable case or in the presence of semi-random noise. Prior computationally efficient robust learners required significantly stronger assumptions on the link function.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google