Robustly Learning a Single Neuron via Sharpness

要約

敵対的なラベルノイズの存在下での $L_2^2$ 損失に関する単一ニューロンの学習の問題を研究します。
ReLU を含む広範な活性化ファミリーに対して、定数係数内で最適な $L_2^2$-error を近似する効率的なアルゴリズムを提供します。
私たちのアルゴリズムは、以前の研究と比較してはるかに穏やかな分布仮定の下で適用されます。
私たちの結果を可能にする重要な要素は、最適化理論からの局所誤差限界への新しいつながりです。

要約(オリジナル)

We study the problem of learning a single neuron with respect to the $L_2^2$-loss in the presence of adversarial label noise. We give an efficient algorithm that, for a broad family of activations including ReLUs, approximates the optimal $L_2^2$-error within a constant factor. Our algorithm applies under much milder distributional assumptions compared to prior work. The key ingredient enabling our results is a novel connection to local error bounds from optimization theory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google