Model selection of polynomial kernel regression

要約

多項式カーネル回帰は、標準かつ最先端の学習戦略の 1 つです。
ただし、よく知られているように、モデル選択の領域では、多項式カーネルの次数と正則化パラメーターの選択がまだ未解決です。
この文書の最初の目的は、これらのパラメータを選択する戦略を開発することです。
一方では、最悪の場合の学習率分析に基づいて、多項式カーネル回帰における正則化項が必要ないことを示します。
言い換えれば、多項式カーネルの次数が適切に調整されている場合、正則化パラメータは任意の速度で減少する可能性があります。
一方、アルゴリズムの実装を考慮すると、正則化項が必要になります。
要約すると、多項式カーネル回帰における正則化項の効果は、カーネル行列の「悪条件」を回避することだけです。
これに基づいて、この論文の 2 番目の目的は、新しいモデル選択戦略を提案し、効率的な学習アルゴリズムを設計することです。
理論的分析と実験的分析の両方で、新しい戦略が以前の戦略よりも優れていることが示されています。
理論的には、回帰関数が滑らかであれば、新しい学習戦略はほぼ最適であることが証明されます。
実験的には、新しい戦略は汎化能力を失うことなく計算負荷を大幅に軽減できることが示されています。

要約(オリジナル)

Polynomial kernel regression is one of the standard and state-of-the-art learning strategies. However, as is well known, the choices of the degree of polynomial kernel and the regularization parameter are still open in the realm of model selection. The first aim of this paper is to develop a strategy to select these parameters. On one hand, based on the worst-case learning rate analysis, we show that the regularization term in polynomial kernel regression is not necessary. In other words, the regularization parameter can decrease arbitrarily fast when the degree of the polynomial kernel is suitable tuned. On the other hand,taking account of the implementation of the algorithm, the regularization term is required. Summarily, the effect of the regularization term in polynomial kernel regression is only to circumvent the ‘ ill-condition’ of the kernel matrix. Based on this, the second purpose of this paper is to propose a new model selection strategy, and then design an efficient learning algorithm. Both theoretical and experimental analysis show that the new strategy outperforms the previous one. Theoretically, we prove that the new learning strategy is almost optimal if the regression function is smooth. Experimentally, it is shown that the new strategy can significantly reduce the computational burden without loss of generalization capability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google