Finite-Sample Analysis of Learning High-Dimensional Single ReLU Neuron

要約

この論文では、入力次元がサンプル数を超える可能性がある、過パラメータ化領​​域における二乗損失 (別名 ReLU 回帰) を伴う単一 ReLU ニューロンの学習の問題について考察します。
我々は、GLM-tron (Kakade et al., 2011) と呼ばれるパーセプトロン型アルゴリズムを分析し、適切に指定された設定と誤って指定された設定の両方における高次元 ReLU 回帰の無次元リスク上限を提供します。
私たちのリスク限界は、いくつかの既存の結果を特別なケースとして復元します。
さらに、明確に指定された設定で、GLM-tron のインスタンスごとのマッチング リスクの下限を提供します。
リスクの上限と下限は、GLM-tron を通じて学習できる高次元の ReLU 回帰問題の明確な特徴付けを提供します。
一方で、対称ベルヌーイ データを使用した ReLU 回帰の確率的勾配降下法 (SGD) については、いくつかの否定的な結果が得られます。モデルが適切に指定されている場合、SGD の過剰リスクは、定数を無視した GLM-tron の過剰リスクと同じであることがわかります。
各問題インスタンスの要因。
そしてノイズのないケースでは、GLM-tron は小さなリスクを達成できますが、SGD は期待に伴う一定のリスクを避けられません。
これらの結果を総合すると、高次元 ReLU 回帰では GLM-tron が SGD よりも好ましい可能性があることが示唆されます。

要約(オリジナル)

This paper considers the problem of learning a single ReLU neuron with squared loss (a.k.a., ReLU regression) in the overparameterized regime, where the input dimension can exceed the number of samples. We analyze a Perceptron-type algorithm called GLM-tron (Kakade et al., 2011) and provide its dimension-free risk upper bounds for high-dimensional ReLU regression in both well-specified and misspecified settings. Our risk bounds recover several existing results as special cases. Moreover, in the well-specified setting, we provide an instance-wise matching risk lower bound for GLM-tron. Our upper and lower risk bounds provide a sharp characterization of the high-dimensional ReLU regression problems that can be learned via GLM-tron. On the other hand, we provide some negative results for stochastic gradient descent (SGD) for ReLU regression with symmetric Bernoulli data: if the model is well-specified, the excess risk of SGD is provably no better than that of GLM-tron ignoring constant factors, for each problem instance; and in the noiseless case, GLM-tron can achieve a small risk while SGD unavoidably suffers from a constant risk in expectation. These results together suggest that GLM-tron might be preferable to SGD for high-dimensional ReLU regression.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google