Asymptotic Optimism of Random-Design Linear and Kernel Regression Models

要約

私たちは、ランダム設計下で線形回帰モデルの閉じた漸近楽観主義を導き出し、それをカーネルリッジの回帰に一般化しました。
一般的な予測モデルの複雑さの尺度としてスケーリングされた漸近楽観主義を使用して、線形回帰モデル、接線カーネル（NTK）回帰モデル、3層完全接続ニューラルネットワーク（NN）の基本的な異なる挙動を研究しました。
私たちの貢献は2つあります。スケーリングされた楽観主義をモデル予測複雑さの尺度として使用するための理論的根拠を提供しました。
また、RELUSを持つNNがこの尺度でカーネルモデルとは異なる動作が異なることを経験的に示します。
再サンプリング手法では、実際のデータを使用して回帰モデルの楽観主義を計算することもできます。

要約(オリジナル)

We derived the closed-form asymptotic optimism of linear regression models under random designs, and generalizes it to kernel ridge regression. Using scaled asymptotic optimism as a generic predictive model complexity measure, we studied the fundamental different behaviors of linear regression model, tangent kernel (NTK) regression model and three-layer fully connected neural networks (NN). Our contribution is two-fold: we provided theoretical ground for using scaled optimism as a model predictive complexity measure; and we show empirically that NN with ReLUs behaves differently from kernel models under this measure. With resampling techniques, we can also compute the optimism for regression models with real data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google