Fast Kernel Summation in High Dimensions via Slicing and Fourier Transforms

要約

カーネルベースの手法は機械学習で頻繁に使用されます。
ただし、考慮されるデータ ポイントの数が $N$ であるため、複雑さは $O(N^2)$ になります。
この論文では、この複雑さを $O(N)$ に軽減する近似手順を提案します。
私たちのアプローチは 2 つの考え方に基づいています。
まず、解析基底関数を持つ放射状カーネルは、ある 1 次元カーネルのスライス バージョンとして表現できることを証明し、対応する 1 次元カーネルの解析式を導き出します。
1 次元カーネルと $d$ 次元カーネルの間の関係は、一般化されたリーマン・リウヴィル分数積分によって与えられることがわかります。
したがって、$d$ 次元のカーネルの合計を 1 次元の設定に減らすことができます。
第 2 に、これらの 1 次元問題を効率的に解決するために、非等間隔データに対する高速フーリエ加算、ソート アルゴリズム、またはその両方の組み合わせを適用します。
実用上重要であるため、ガウス カーネルに特別な注意を払います。ガウス カーネルでは、次元に依存しない誤差限界を示し、閉じた形式のフーリエ変換を介してその 1 次元の対応物を表します。
高速カーネル合計の実行時間の比較とエラー推定を提供します。

要約(オリジナル)

Kernel-based methods are heavily used in machine learning. However, they suffer from $O(N^2)$ complexity in the number $N$ of considered data points. In this paper, we propose an approximation procedure, which reduces this complexity to $O(N)$. Our approach is based on two ideas. First, we prove that any radial kernel with analytic basis function can be represented as sliced version of some one-dimensional kernel and derive an analytic formula for the one-dimensional counterpart. It turns out that the relation between one- and $d$-dimensional kernels is given by a generalized Riemann-Liouville fractional integral. Hence, we can reduce the $d$-dimensional kernel summation to a one-dimensional setting. Second, for solving these one-dimensional problems efficiently, we apply fast Fourier summations on non-equispaced data, a sorting algorithm or a combination of both. Due to its practical importance we pay special attention to the Gaussian kernel, where we show a dimension-independent error bound and represent its one-dimensional counterpart via a closed-form Fourier transform. We provide a run time comparison and error estimate of our fast kernel summations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google