Generalization in Kernel Regression Under Realistic Assumptions

要約

現在では、現代の過剰パラメータ化モデルがバイアスと分散のトレードオフを回避し、過剰適合ノイズにもかかわらずよく一般化しているようであることが十分に確立されています。
最近の研究の多くは、カーネル回帰という比較的扱いやすい設定でこの現象を分析しようとしています。
しかし、私たちが詳しく議論しているように、このトピックに関する過去の研究のほとんどは、非現実的な仮定を立てているか、狭い問題設定に焦点を当てています。
この研究は、ほぼすべての一般的で現実的な設定におけるカーネル回帰の過剰なリスクを上限とする統一理論を提供することを目的としています。
具体的には、一般的なカーネル、および任意の量の正則化、ノイズ、任意の入力次元、および任意の数のサンプルに対して適用される厳密な境界を提供します。
さらに、カーネル行列の固有値に対する相対的な摂動限界を提供します。これは独立した関心がもたれる可能性があります。
これらは、自己正則化現象を明らかにします。これにより、カーネルの固有分解の重いテールが暗黙的な形式の正則化をカーネルに提供し、良好な一般化を可能にします。
一般的なカーネルに適用すると、結果は、高入力次元での良性の過学習、固定次元でのほぼ調整された過学習、および正則化回帰の明示的な収束率を意味します。
副産物として、カーネル レジームでトレーニングされたニューラル ネットワークの時間依存の境界が得られます。

要約(オリジナル)

It is by now well-established that modern over-parameterized models seem to elude the bias-variance tradeoff and generalize well despite overfitting noise. Many recent works attempt to analyze this phenomenon in the relatively tractable setting of kernel regression. However, as we argue in detail, most past works on this topic either make unrealistic assumptions, or focus on a narrow problem setup. This work aims to provide a unified theory to upper bound the excess risk of kernel regression for nearly all common and realistic settings. Specifically, we provide rigorous bounds that hold for common kernels and for any amount of regularization, noise, any input dimension, and any number of samples. Furthermore, we provide relative perturbation bounds for the eigenvalues of kernel matrices, which may be of independent interest. These reveal a self-regularization phenomenon, whereby a heavy tail in the eigendecomposition of the kernel provides it with an implicit form of regularization, enabling good generalization. When applied to common kernels, our results imply benign overfitting in high input dimensions, nearly tempered overfitting in fixed dimensions, and explicit convergence rates for regularized regression. As a by-product, we obtain time-dependent bounds for neural networks trained in the kernel regime.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google