On the Universality of the Double Descent Peak in Ridgeless Regression

要約

リッジレス線形回帰におけるラベル ノイズによって生じる期待される平均二乗一般化誤差の非漸近的分布独立下限を証明します。
下限は、同様の既知の結果をオーバーパラメータ化 (補間) 領域に一般化します。
これまでのほとんどの研究とは対照的に、私たちの分析は、ほぼ確実にフルランクの特徴行列を持つ幅広いクラスの入力分布に適用され、さまざまなタイプの決定的またはランダムな特徴マップをカバーすることができます。
下限は漸近的に鋭く、ラベル ノイズの存在下では、これらの特徴マップのいずれにおいても、リッジレス線形回帰が内挿しきい値付近でうまく機能しないことを意味します。
課せられた仮定を詳細に分析し、分析的 (ランダム) 特徴マップの理論を提供します。
この理論を使用すると、シグモイド、タンハー、ソフトプラス、または GELU などの解析活性化関数を備えたランダム ディープ ニューラル ネットワークによって与えられる (ルベーグ) 密度と特徴マップを備えた入力分布に対して仮定が満たされることを示すことができます。
さらなる例として、ランダムなフーリエ特徴と多項式カーネルからの特徴マップも私たちの仮定を満たすことを示します。
さらなる実験結果と分析結果で理論を補完します。

要約(オリジナル)

We prove a non-asymptotic distribution-independent lower bound for the expected mean squared generalization error caused by label noise in ridgeless linear regression. Our lower bound generalizes a similar known result to the overparameterized (interpolating) regime. In contrast to most previous works, our analysis applies to a broad class of input distributions with almost surely full-rank feature matrices, which allows us to cover various types of deterministic or random feature maps. Our lower bound is asymptotically sharp and implies that in the presence of label noise, ridgeless linear regression does not perform well around the interpolation threshold for any of these feature maps. We analyze the imposed assumptions in detail and provide a theory for analytic (random) feature maps. Using this theory, we can show that our assumptions are satisfied for input distributions with a (Lebesgue) density and feature maps given by random deep neural networks with analytic activation functions like sigmoid, tanh, softplus or GELU. As further examples, we show that feature maps from random Fourier features and polynomial kernels also satisfy our assumptions. We complement our theory with further experimental and analytic results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google