A Theoretical Analysis of the Test Error of Finite-Rank Kernel Ridge Regression

要約

一般的なカーネル回帰子に対する既存の統計的学習保証は、有限順位カーネルと一緒に使うと、しばしば緩い境界をもたらす。しかし、有限ランクカーネルは、例えば、事前学習されたディープニューラルネットワークの最終層を微調整し、転移学習を行う際に新しいタスクに適応させる場合など、いくつかの機械学習問題で自然に登場する。我々は、任意の有限ランクKRRのKRRテスト誤差に対する鋭い非漸近的な上下界を導出することにより、有限ランクカーネル尾根回帰（KRR）に対するこのギャップに対処する。我々の境界は、以前に導出された有限ランクKRRの境界よりも厳しく、同程度の結果とは異なり、どのような正則化パラメータに対しても有効である。

要約(オリジナル)

Existing statistical learning guarantees for general kernel regressors often yield loose bounds when used with finite-rank kernels. Yet, finite-rank kernels naturally appear in several machine learning problems, e.g.\ when fine-tuning a pre-trained deep neural network’s last layer to adapt it to a novel task when performing transfer learning. We address this gap for finite-rank kernel ridge regression (KRR) by deriving sharp non-asymptotic upper and lower bounds for the KRR test error of any finite-rank KRR. Our bounds are tighter than previously derived bounds on finite-rank KRR, and unlike comparable results, they also remain valid for any regularization parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL