Solving Kernel Ridge Regression with Gradient-Based Optimization Methods

要約

カーネル リッジ回帰 (KRR) は、データでは非線形ですが、パラメーターでは線形である線形リッジ回帰を一般化したものです。
ここでは、KRR の目的関数の等価な定式化を導入し、リッジ ペナルティ以外のペナルティの使用と、勾配降下の観点からカーネル リッジ回帰の研究の両方に道を開きます。
連続時間の観点を使用して、勾配降下法 (カーネル勾配フロー (KGF) と呼ばれるもの) を使用してカーネル回帰を解くための閉形式の解を導出し、KRR と KGF の違いを理論的に限界付けします。後者の場合、正則化が行われます。
早期停止によって得られます。
また、リッジ ペナルティをそれぞれ $\ell_1$ ペナルティと $\ell_\infty$ ペナルティに置き換えることによって KRR を一般化し、KGF と KRR の類似点と同様に、$\ell_1$ 正則化と順方向段階的回帰 (
座標降下法とも呼ばれます)、$\ell_\infty$ の正則化と符号勾配降下法は、同様の解法パスに従います。
したがって、近位勾配降下法に基づく計算量の多いアルゴリズムの必要性を軽減できます。
$\ell_1$ ペナルティと $\ell_\infty$ ペナルティ、および対応する勾配ベースの最適化アルゴリズムがそれぞれどのようにしてスパースなカーネル回帰解とロバストなカーネル回帰解を生成するかを理論的および経験的に示します。

要約(オリジナル)

Kernel ridge regression, KRR, is a generalization of linear ridge regression that is non-linear in the data, but linear in the parameters. Here, we introduce an equivalent formulation of the objective function of KRR, opening up both for using penalties other than the ridge penalty and for studying kernel ridge regression from the perspective of gradient descent. Using a continuous-time perspective, we derive a closed-form solution for solving kernel regression with gradient descent, something we refer to as kernel gradient flow, KGF, and theoretically bound the differences between KRR and KGF, where, for the latter, regularization is obtained through early stopping. We also generalize KRR by replacing the ridge penalty with the $\ell_1$ and $\ell_\infty$ penalties, respectively, and use the fact that analogous to the similarities between KGF and KRR, $\ell_1$ regularization and forward stagewise regression (also known as coordinate descent), and $\ell_\infty$ regularization and sign gradient descent, follow similar solution paths. We can thus alleviate the need for computationally heavy algorithms based on proximal gradient descent. We show theoretically and empirically how the $\ell_1$ and $\ell_\infty$ penalties, and the corresponding gradient-based optimization algorithms, produce sparse and robust kernel regression solutions, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google