Optimal Rates for Vector-Valued Spectral Regularization Learning Algorithms

要約

私たちは、ベクトル値の出力を使用して、広範なクラスの正則化アルゴリズムの理論的特性を研究します。
これらのスペクトル アルゴリズムには、カーネル リッジ回帰、カーネル主成分回帰、勾配降下のさまざまな実装などが含まれます。
私たちの貢献は 2 つあります。
まず、学習率の新しい下限を導出することで、ベクトル値出力を使用したリッジ回帰のいわゆる飽和効果を厳密に確認します。
回帰関数の滑らかさが特定のレベルを超えると、この境界は最適ではないことがわかります。
第 2 に、さまざまなレジームでミニマックス最適となる、適切に指定されたシナリオと誤って指定されたシナリオ (真の回帰関数が仮説空間の外側にある場合) の両方に適用できる、有限サンプル リスクの一般ベクトル値スペクトル アルゴリズムの上限を提示します。
私たちの結果はすべて、無限次元の出力変数の場合を明示的に許可しており、最近の実用的なアプリケーションの一貫性を証明しています。

要約(オリジナル)

We study theoretical properties of a broad class of regularized algorithms with vector-valued output. These spectral algorithms include kernel ridge regression, kernel principal component regression, various implementations of gradient descent and many more. Our contributions are twofold. First, we rigorously confirm the so-called saturation effect for ridge regression with vector-valued output by deriving a novel lower bound on learning rates; this bound is shown to be suboptimal when the smoothness of the regression function exceeds a certain level. Second, we present the upper bound for the finite sample risk general vector-valued spectral algorithms, applicable to both well-specified and misspecified scenarios (where the true regression function lies outside of the hypothesis space) which is minimax optimal in various regimes. All of our results explicitly allow the case of infinite-dimensional output variables, proving consistency of recent practical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google