Robustly Learning Single-Index Models via Alignment Sharpness

要約

不可知論的モデルにおける $L_2^2$ 損失の下での単一インデックス モデルの学習の問題を研究します。
効率的な学習アルゴリズムを提供し、最適な損失への定因数近似を達成します。これは、さまざまな分布 (対数凹分布を含む) および幅広いクラスの単調リンク関数およびリプシッツ リンク関数の下で成功します。
これは、ガウス データや任意の非自明なクラスのリンク関数であっても、最初の効率的な定数因数近似非依存学習器です。
未知のリンク関数の場合の以前の研究は、実現可能な設定で機能するか、定数係数近似に達しません。
私たちのアルゴリズムと分析を可能にする主な技術要素は、アライメントシャープネスと呼ばれる、最適化における局所誤差限界という新しい概念であり、これはより広範な関心を引く可能性があります。

要約(オリジナル)

We study the problem of learning Single-Index Models under the $L_2^2$ loss in the agnostic model. We give an efficient learning algorithm, achieving a constant factor approximation to the optimal loss, that succeeds under a range of distributions (including log-concave distributions) and a broad class of monotone and Lipschitz link functions. This is the first efficient constant factor approximate agnostic learner, even for Gaussian data and for any nontrivial class of link functions. Prior work for the case of unknown link function either works in the realizable setting or does not attain constant factor approximation. The main technical ingredient enabling our algorithm and analysis is a novel notion of a local error bound in optimization that we term alignment sharpness and that may be of broader interest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google