Bandwidth Selection for Gaussian Kernel Ridge Regression via Jacobian Control

要約

ほとんどの機械学習手法は、ハイパーパラメータのチューニングを必要とする。ガウス・カーネルを用いたカーネル・リッジ回帰では，ハイパー・パラメータはバンド幅である．帯域幅は、カーネルの長さスケールを指定し、よい汎化を持つモデルを得るために注意深く選択されなければならない。帯域幅選択のデフォルトの方法であるクロスバリデーションと限界尤度最大化では、計算コストは高いものの、良い結果が得られることが多い。ヤコビアン正則化に触発されて、我々は、ガウシアンカーネルを用いたカーネルリッジ回帰によって推論される関数の導関数が、カーネル帯域幅にどのように依存するかについての近似式を定式化する。この式を用いて、ヤコビアンの制御に基づく、閉形式で計算量の少ない帯域幅選択のヒューリスティックを提案する。さらに、ヤコビアン式は、帯域幅選択が、推論関数の滑らかさと訓練データのカーネル行列の条件付けとの間のトレードオフであることを明らかにする。実データと合成データを用いて、クロスバリデーションや限界尤度最大化と比較して、我々の手法がモデル性能の点で同等であり、最大6桁高速であることを示す。

要約(オリジナル)

Most machine learning methods require tuning of hyper-parameters. For kernel ridge regression with the Gaussian kernel, the hyper-parameter is the bandwidth. The bandwidth specifies the length scale of the kernel and has to be carefully selected to obtain a model with good generalization. The default methods for bandwidth selection, cross-validation and marginal likelihood maximization, often yield good results, albeit at high computational costs. Inspired by Jacobian regularization, we formulate an approximate expression for how the derivatives of the functions inferred by kernel ridge regression with the Gaussian kernel depend on the kernel bandwidth. We use this expression to propose a closed-form, computationally feather-light, bandwidth selection heuristic, based on controlling the Jacobian. In addition, the Jacobian expression illuminates how the bandwidth selection is a trade-off between the smoothness of the inferred function and the conditioning of the training data kernel matrix. We show on real and synthetic data that compared to cross-validation and marginal likelihood maximization, our method is on pair in terms of model performance, but up to six orders of magnitude faster.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL