Prediction Risk and Estimation Risk of the Ridgeless Least Squares Estimator under General Assumptions on Regression Errors

要約

近年、最小 $\ell_2$ ノルム (リッジレス) 内挿最小二乗推定量に焦点を当てた研究が大幅に増加しています。
ただし、これらの分析の大部分は、平均と共通の分散がゼロで独立した同一分布の誤差を想定した単純な回帰誤差構造に限定されています。
この論文では、より一般的な回帰誤差の仮定の下で予測リスクと推定リスクを調査し、有限サンプルにおけるオーバーパラメータ化の利点に焦点を当てます。
サンプルサイズに比べて重要でないパラメータを多数含めることで、両方のリスクを効果的に軽減できることがわかりました。
特に、両方のリスクの分散成分に関連する推定の困難さは、回帰誤差の分散共分散行列のトレースを通じて要約できることを確立しています。

要約(オリジナル)

In recent years, there has been a significant growth in research focusing on minimum $\ell_2$ norm (ridgeless) interpolation least squares estimators. However, the majority of these analyses have been limited to a simple regression error structure, assuming independent and identically distributed errors with zero mean and common variance. In this paper, we explore prediction risk as well as estimation risk under more general regression error assumptions, highlighting the benefits of overparameterization in a finite sample. We find that including a large number of unimportant parameters relative to the sample size can effectively reduce both risks. Notably, we establish that the estimation difficulties associated with the variance components of both risks can be summarized through the trace of the variance-covariance matrix of the regression errors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google