Optimal Rate of Kernel Regression in Large Dimensions

要約

大次元データのカーネル回帰の研究を実行します (サンプルサイズ $n$ はサンプルの次元 $d$ に多項式に依存します。つまり、一部の $\ については $n\asymp d^{\gamma}$ です)
ガンマ >0$ )。
まず、メンデルソン複雑度 $\varepsilon_{n}^{2}$ と計量エントロピー $\bar{\varepsilon}_ を通じて、大規模な次元データのカーネル回帰の上限と最小下限を特徴付ける一般的なツールを構築します。
それぞれ {n}^{2}$ です。
ターゲット関数が $\mathbb{S}^{d}$ で定義された (一般的な) 内積モデルに関連付けられた RKHS に該当する場合、新しいツールを利用して、カーネル回帰の超過リスクの最小率が次のとおりであることを示します。
$n\gamma =2, 4, 6, 8, \cdots$ の $n\asymp d^{\gamma}$ のとき、$n^{-1/2}$。
次に、すべての $\gamma>0$ に対するカーネル回帰の過剰リスクの最適率をさらに決定し、$\gamma$ に沿って変化する最適率の曲線が、{\it 多重降下挙動} を含むいくつかの新しい現象を示すことを発見しました。
そして、{\it の周期的なプラトー動作}。
アプリケーションとして、ニューラル タンジェント カーネル (NTK) についても、最適レートの曲線の同様の明示的な記述を提供します。
直接の帰結として、これらの主張はワイド ニューラル ネットワークにも当てはまります。

要約(オリジナル)

We perform a study on kernel regression for large-dimensional data (where the sample size $n$ is polynomially depending on the dimension $d$ of the samples, i.e., $n\asymp d^{\gamma}$ for some $\gamma >0$ ). We first build a general tool to characterize the upper bound and the minimax lower bound of kernel regression for large dimensional data through the Mendelson complexity $\varepsilon_{n}^{2}$ and the metric entropy $\bar{\varepsilon}_{n}^{2}$ respectively. When the target function falls into the RKHS associated with a (general) inner product model defined on $\mathbb{S}^{d}$, we utilize the new tool to show that the minimax rate of the excess risk of kernel regression is $n^{-1/2}$ when $n\asymp d^{\gamma}$ for $\gamma =2, 4, 6, 8, \cdots$. We then further determine the optimal rate of the excess risk of kernel regression for all the $\gamma>0$ and find that the curve of optimal rate varying along $\gamma$ exhibits several new phenomena including the {\it multiple descent behavior} and the {\it periodic plateau behavior}. As an application, For the neural tangent kernel (NTK), we also provide a similar explicit description of the curve of optimal rate. As a direct corollary, we know these claims hold for wide neural networks as well.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google