Noisy Interpolation Learning with Shallow Univariate ReLU Networks

要約

ノイズの多い単変量回帰に対する最小ノルム (重みの $\ell_2$) 2 層 ReLU ネットワークによる内挿の漸近過学習挙動を研究します。
$L_1$ の損失と、$p<2$ の $L_p$ 損失については過学習が緩和されますが、$p\geq 2$ では壊滅的であることがわかります。

要約(オリジナル)

We study the asymptotic overfitting behavior of interpolation with minimum norm ($\ell_2$ of the weights) two-layer ReLU networks for noisy univariate regression. We show that overfitting is tempered for the $L_1$ loss, and any $L_p$ loss for $p<2$, but catastrophic for $p\geq 2$.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google