Feature maps for the Laplacian kernel and its generalizations

要約

機械学習におけるカーネル法の最近のアプリケーションでは、ガウスカーネルと比較した帯域幅のハイパーパラメーターの安定性と、その表現力が深い深さの神経接線カーネルの表現と同等であるため、ラプラシアンカーネルに新たな関心が見られました。
接続されたネットワーク。
ただし、ガウスカーネルとは異なり、ラプラシアンカーネルは分離できません。
これは、特にランダムフーリエ機能（RFF）方法論とそのバリアントを介して、それを近似するための課題をもたらします。
この作業では、Laplacianカーネルとその2つの一般化のランダムな機能を提供します：mat \ ‘{e} rnカーネルと指数パワーカーネル。
ランダムな特徴がこれらのカーネルを近似するように、重量行列をサンプリングするための効率的に実装可能なスキームを提供します。
これらの重量マトリックスは、弱く結合した重尾のランダム性を持っています。
実際のデータセットでの数値実験を介して、これらのランダム機能マップの有効性を示します。

要約(オリジナル)

Recent applications of kernel methods in machine learning have seen a renewed interest in the Laplacian kernel, due to its stability to the bandwidth hyperparameter in comparison to the Gaussian kernel, as well as its expressivity being equivalent to that of the neural tangent kernel of deep fully connected networks. However, unlike the Gaussian kernel, the Laplacian kernel is not separable. This poses challenges for techniques to approximate it, especially via the random Fourier features (RFF) methodology and its variants. In this work, we provide random features for the Laplacian kernel and its two generalizations: Mat\'{e}rn kernel and the Exponential power kernel. We provide efficiently implementable schemes to sample weight matrices so that random features approximate these kernels. These weight matrices have a weakly coupled heavy-tailed randomness. Via numerical experiments on real datasets we demonstrate the efficacy of these random feature maps.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google