Optimal Rates and Saturation for Noiseless Kernel Ridge Regression

要約

最小二乗サポートベクターマシンとしても知られるカーネルリッジ回帰（KRR）は、有限サンプルから機能を学習するための基本的な方法です。
ほとんどの既存の分析は、一定レベルのラベルノイズを備えたノイズの多い設定に焦点を当てていますが、ノイズレスレジームでのKRRの包括的な研究を紹介します。
対数要因まで、Noiseless KRRは、関連する積分演算子の固有値減衰とターゲット関数の滑らかさによって共同で決定されるMinimax最適収束速度を達成することを確立します。
これらのレートは、ソボレフ型補間基準の下で導き出され、$ l^2 $ normは特別なケースとしてです。
特に、2つの重要な現象を発見します。これは、KRR溶液がネイティブの繁殖カーネルヒルベルト空間（RKHS）の典型的な機能よりも高い滑らかさを示し、ターゲット関数の滑らかさの適応性が特定のレベルを超えた飽和効果です。
これらの洞察を活用して、ノイズレベルの認識であり、ノイズレスとノイズの多い体制の両方で最小限の最適性を実現するノイズの多いKRRに縛られた新しいエラーも導き出されます。
主要な技術的貢献として、自由度の洗練された概念を導入します。これは、カーネル法の分析においてより広範な適用性があると考えています。
広範な数値実験は、理論的な結果を検証し、既存の理論を超えた洞察を提供します。

要約(オリジナル)

Kernel ridge regression (KRR), also known as the least-squares support vector machine, is a fundamental method for learning functions from finite samples. While most existing analyses focus on the noisy setting with constant-level label noise, we present a comprehensive study of KRR in the noiseless regime — a critical setting in scientific computing where data are often generated via high-fidelity numerical simulations. We establish that, up to logarithmic factors, noiseless KRR achieves minimax optimal convergence rates, jointly determined by the eigenvalue decay of the associated integral operator and the target function’s smoothness. These rates are derived under Sobolev-type interpolation norms, with the $L^2$ norm as a special case. Notably, we uncover two key phenomena: an extra-smoothness effect, where the KRR solution exhibits higher smoothness than typical functions in the native reproducing kernel Hilbert space (RKHS), and a saturation effect, where the KRR’s adaptivity to the target function’s smoothness plateaus beyond a certain level. Leveraging these insights, we also derive a novel error bound for noisy KRR that is noise-level aware and achieves minimax optimality in both noiseless and noisy regimes. As a key technical contribution, we introduce a refined notion of degrees of freedom, which we believe has broader applicability in the analysis of kernel methods. Extensive numerical experiments validate our theoretical results and provide insights beyond existing theory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google