Double Descent: Understanding Linear Model Estimation of Nonidentifiable Parameters and a Model for Overfitting

要約

通常の最小二乗推定と、p > n の問題および新しい観測の予測に関連する問題に対するペナルティ付き (正規化) 最小二乗推定やスペクトル収縮推定などの最小二乗推定のバリエーションを検討します。
セクション 1 の導入に続き、セクション 2 では、p > n に対して一般的に使用される多数の推定量を検討します。
セクション 3 では、p > n の予測を紹介します。
セクション 4 では、過学習の議論を容易にするために表記の変更を紹介し、セクション 5 では二重降下現象を説明します。
最後にいくつかのコメントを述べて終わります。

要約(オリジナル)

We consider ordinary least squares estimation and variations on least squares estimation such as penalized (regularized) least squares and spectral shrinkage estimates for problems with p > n and associated problems with prediction of new observations. After the introduction of Section 1, Section 2 examines a number of commonly used estimators for p > n. Section 3 introduces prediction with p > n. Section 4 introduces notational changes to facilitate discussion of overfitting and Section 5 illustrates the phenomenon of double descent. We conclude with some final comments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google