Optimal Rates of Kernel Ridge Regression under Source Condition in Large Dimensions

要約

ニューラル ネットワークの研究 (ニューラル タンジェント カーネル理論など) を動機として、カーネル リッジ回帰 (KRR) の大次元挙動に関する研究を実行します。
一部の $\gamma > 0$。
球 $\mathbb{S}^{d}$ 上で定義された内積カーネルに関連付けられた RKHS $\mathcal{H}$ が与えられると、真の関数 $f_{\rho}^{*} \in が次のように仮定されます。
[\mathcal{H}]^{s}$、ソース条件 $s>0$ の $\mathcal{H}$ の内挿空間。
まず、最適に選択された正則化パラメータ $\lambda$ に対するカーネル リッジ回帰の汎化誤差の正確な次数 (上限と下限の両方) を決定しました。
さらに、$01$ の場合、KRR はミニマックス最適ではありません (飽和効果とも呼ばれます)。
私たちの結果は、$\gamma$ に沿って変化する速度曲線が周期的なプラトー挙動と複数の下降挙動を示し、$s>0$ で曲線がどのように変化するかを示しています。
興味深いことに、私たちの研究は、それぞれ $s=0$ と $s=1$ に対応する大次元設定におけるカーネル回帰に関するいくつかの最近の研究の統一された視点を提供します。

要約(オリジナル)

Motivated by the studies of neural networks (e.g.,the neural tangent kernel theory), we perform a study on the large-dimensional behavior of kernel ridge regression (KRR) where the sample size $n \asymp d^{\gamma}$ for some $\gamma > 0$. Given an RKHS $\mathcal{H}$ associated with an inner product kernel defined on the sphere $\mathbb{S}^{d}$, we suppose that the true function $f_{\rho}^{*} \in [\mathcal{H}]^{s}$, the interpolation space of $\mathcal{H}$ with source condition $s>0$. We first determined the exact order (both upper and lower bound) of the generalization error of kernel ridge regression for the optimally chosen regularization parameter $\lambda$. We then further showed that when $01$, KRR is not minimax optimal (a.k.a. he saturation effect). Our results illustrate that the curves of rate varying along $\gamma$ exhibit the periodic plateau behavior and the multiple descent behavior and show how the curves evolve with $s>0$. Interestingly, our work provides a unified viewpoint of several recent works on kernel regression in the large-dimensional setting, which correspond to $s=0$ and $s=1$ respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google