Algebraic and Statistical Properties of the Ordinary Least Squares Interpolator

要約

深層学習の研究により、過剰にパラメータ化された統計モデルに対する良性の過学習現象が明らかになり、近年理論的に大きな関心を集めています。
そのシンプルさと実用性を考えると、通常最小二乗 (OLS) 補間器は、この現象についての基礎的な洞察を得るために不可欠なものとなっています。
OLS の特性は古典的な設定では十分に確立されていますが、最近では大きな進歩が見られていますが、高次元の設定での動作は (リッジ回帰や投げ縄回帰とは異なり) あまり調査されていません。
私たちは、最小 $\ell_2$-norm OLS 補間器の基本的な代数的および統計的結果を提供することで、この増大する文献に貢献します。
特に、(i) Leave-$k$-out 残差公式、(ii) コクランの公式、および (iii) フリッシュ・ウォー・ラベル定理の高次元代数等価物を提供します。
これらの結果は、OLS 補間器の一般化能力と因果推論に実質的な影響を与える能力を理解するのに役立ちます。
さらに、ガウス-マルコフ モデルの下で、ガウス-マルコフ定理の高次元拡張や等分散誤差の下での分散推定の分析などの統計結果を示します。
私たちの理論的貢献を実証するために、OLS 補間器の確率的特性をさらに調査するシミュレーション研究を実施します。

要約(オリジナル)

Deep learning research has uncovered the phenomenon of benign overfitting for over-parameterized statistical models, which has drawn significant theoretical interest in recent years. Given its simplicity and practicality, the ordinary least squares (OLS) interpolator has become essential to gain foundational insights into this phenomenon. While properties of OLS are well established in classical settings, its behavior in high-dimensional settings is less explored (unlike for ridge or lasso regression) though significant progress has been made of late. We contribute to this growing literature by providing fundamental algebraic and statistical results for the minimum $\ell_2$-norm OLS interpolator. In particular, we provide high-dimensional algebraic equivalents of (i) the leave-$k$-out residual formula, (ii) Cochran’s formula, and (iii) the Frisch-Waugh-Lovell theorem. These results aid in understanding the OLS interpolator’s ability to generalize and have substantive implications for causal inference. Additionally, under the Gauss-Markov model, we present statistical results such as a high-dimensional extension of the Gauss-Markov theorem and an analysis of variance estimation under homoskedastic errors. To substantiate our theoretical contributions, we conduct simulation studies that further explore the stochastic properties of the OLS interpolator.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google