Robustly Learning Monotone Generalized Linear Models via Data Augmentation

要約

ガウス分布の下で、不可知論のモデルで一般化された線形モデル（GLM）を学習するタスクを研究します。
\ textit {Any} Monotone Lipschitzのアクティッツの一定因子近似を達成する最初の多項式時間アルゴリズムを指定します。
以前の定数因子GLM学習者は、実質的に小さいクラスの活性化に成功します。
私たちの研究は、古典的なGlmtronアルゴリズムの堅牢な対応物を開発することにより、よく知られている未解決の問題を解決します（Kakade et al。、2011）。
堅牢な学習者は、より一般的に適用され、固定$ \ Zeta> 0 $に対して、限られた$（2+ \ Zeta）$ -Momentsを含むすべての単調な活性化を網羅しています – 本質的に必要な条件。
結果を得るために、ガウスノイズインジェクションを減少させて新しいデータ増強技術を活用し、他の設定で役立つ可能性のある多くの構造結果を証明します。

要約(オリジナル)

We study the task of learning Generalized Linear models (GLMs) in the agnostic model under the Gaussian distribution. We give the first polynomial-time algorithm that achieves a constant-factor approximation for \textit{any} monotone Lipschitz activation. Prior constant-factor GLM learners succeed for a substantially smaller class of activations. Our work resolves a well-known open problem, by developing a robust counterpart to the classical GLMtron algorithm (Kakade et al., 2011). Our robust learner applies more generally, encompassing all monotone activations with bounded $(2+\zeta)$-moments, for any fixed $\zeta>0$ — a condition that is essentially necessary. To obtain our results, we leverage a novel data augmentation technique with decreasing Gaussian noise injection and prove a number of structural results that may be useful in other settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google