High-dimensional analysis of double descent for linear regression with random projections

要約

ランダム行列理論に基づいた高次元分析を使用して、固定予測問題の二重降下曲線を証明できるように、さまざまな数のランダム射影を使用した線形回帰問題を検討します。
最初にリッジ回帰推定量を検討し、ノンパラメトリック統計からの古典的な概念、つまり有効次元としても知られる自由度を使用して以前の結果を再解釈します。
特に、特定の正則化パラメーターを使用したリッジ回帰のランダム設計のパフォーマンスは、より簡単な固定設計分析から得られる古典的なバイアスと分散の式と一致するが、別のより大きな暗黙の正則化パラメーターの場合であることを示しています。
次に、最小ノルムの最小二乗フィットとランダム射影の一般化パフォーマンス (バイアスと分散の観点から) の漸近的同等物を計算し、二重降下現象の簡単な式を提供します。

要約(オリジナル)

We consider linear regression problems with a varying number of random projections, where we provably exhibit a double descent curve for a fixed prediction problem, with a high-dimensional analysis based on random matrix theory. We first consider the ridge regression estimator and re-interpret earlier results using classical notions from non-parametric statistics, namely degrees of freedom, also known as effective dimensionality. In particular, we show that the random design performance of ridge regression with a specific regularization parameter matches the classical bias and variance expressions coming from the easier fixed design analysis but for another larger implicit regularization parameter. We then compute asymptotic equivalents of the generalization performance (in terms of bias and variance) of the minimum norm least-squares fit with random projections, providing simple expressions for the double descent phenomenon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google