Risk and cross validation in ridge regression with correlated samples

要約

近年、高次元リッジ回帰の理解が大幅に進歩しましたが、既存の理論ではトレーニング サンプルが独立していると想定されています。
ランダム行列理論と自由確率による最近の手法を活用することで、データ ポイントに任意の相関がある場合のリッジ回帰のサンプル内およびサンプル外のリスクに鋭い漸近線を提供します。
この設定では、一般化相互検証推定量 (GCV) がサンプル外リスクを正しく予測できないことを示します。
ただし、ノイズ残差がデータ ポイントと同じ相関関係を持っている場合は、GCV を変更して、CorrGCV と呼ぶ、高次元の極限に集中する効率的に計算可能な不偏推定量を生成できます。
さらに、漸近分析を、テスト ポイントがトレーニング セットと自明ではない相関関係を持つ場合、つまり時系列予測でよく遭遇する設定に拡張します。
時系列の相関構造の知識を前提とすると、これも GCV 推定量の拡張をもたらし、そのようなテスト ポイントが長期リスクの過度に楽観的な予測をもたらす程度を明確に特徴付けます。
私たちは、さまざまな高次元データにわたって理論の予測を検証します。

要約(オリジナル)

Recent years have seen substantial advances in our understanding of high-dimensional ridge regression, but existing theories assume that training examples are independent. By leveraging recent techniques from random matrix theory and free probability, we provide sharp asymptotics for the in- and out-of-sample risks of ridge regression when the data points have arbitrary correlations. We demonstrate that in this setting, the generalized cross validation estimator (GCV) fails to correctly predict the out-of-sample risk. However, in the case where the noise residuals have the same correlations as the data points, one can modify the GCV to yield an efficiently-computable unbiased estimator that concentrates in the high-dimensional limit, which we dub CorrGCV. We further extend our asymptotic analysis to the case where the test point has nontrivial correlations with the training set, a setting often encountered in time series forecasting. Assuming knowledge of the correlation structure of the time series, this again yields an extension of the GCV estimator, and sharply characterizes the degree to which such test points yield an overly optimistic prediction of long-time risk. We validate the predictions of our theory across a variety of high dimensional data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google