On the design of scalable, high-precision spherical-radial Fourier features

要約

フーリエ特徴を使用した近似は、カーネル手法を大規模な問題に拡張するための一般的な手法であり、機械学習や統計に無数に応用されています。
この方法は、シフト不変カーネルの積分表現を求積則を使用した和に置き換えます。
後者の設計は、高精度の近似に必要な特徴の数を減らすことを目的としています。
具体的には、二乗指数カーネルの場合、$\mathbb{R}^d$ のガウス測度を近似する求積規則を設計する必要があります。
この分野の研究におけるこれまでの取り組みは、より高い次元での困難に直面していました。
等方性を利用してガウス測度を高次元で正確に近似する新しい直交規則ファミリーを導入します。
これらの規則は、動径求積規則と球面求積規則のテンソル積として構築されます。
以前の研究と比較して、私たちのアプローチは近似誤差の徹底的な分析を活用しており、半径成分と球面成分の両方について自然な選択を示唆しています。
我々は、このフーリエ特徴群が改善された近似限界をもたらすことを実証します。

要約(オリジナル)

Approximation using Fourier features is a popular technique for scaling kernel methods to large-scale problems, with myriad applications in machine learning and statistics. This method replaces the integral representation of a shift-invariant kernel with a sum using a quadrature rule. The design of the latter is meant to reduce the number of features required for high-precision approximation. Specifically, for the squared exponential kernel, one must design a quadrature rule that approximates the Gaussian measure on $\mathbb{R}^d$. Previous efforts in this line of research have faced difficulties in higher dimensions. We introduce a new family of quadrature rules that accurately approximate the Gaussian measure in higher dimensions by exploiting its isotropy. These rules are constructed as a tensor product of a radial quadrature rule and a spherical quadrature rule. Compared to previous work, our approach leverages a thorough analysis of the approximation error, which suggests natural choices for both the radial and spherical components. We demonstrate that this family of Fourier features yields improved approximation bounds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google