Integrated Variational Fourier Features for Fast Spatial Modelling with Gaussian Processes

要約

スパース変分近似は、ガウス プロセスでの推論と学習をより大きなデータセットにスケールアップするための一般的な方法です。
$N$ のトレーニング ポイントの場合、正確な推論には $O(N^3)$ のコストがかかります。
$M \ll N$ 機能を使用すると、最先端のスパース変分法には $O(NM^2)$ のコストがかかります。
最近、より洗練された機能を使用する方法が提案されています。
これらは $O(M^3)$ のコストを約束し、空間モデリングなどの低次元タスクで優れたパフォーマンスを発揮しますが、最も一般的に使用されるカーネルの一部を除き、非常に限られたクラスのカーネルでのみ動作します。
この研究では、これらのパフォーマンス上の利点を非常に広範なクラスの定常共分散関数に拡張する統合フーリエ機能を提案します。
私たちは、収束解析と経験的探索から方法とパラメーターの選択を動機付け、合成および現実世界の空間回帰タスクで実用的な高速化を示します。

要約(オリジナル)

Sparse variational approximations are popular methods for scaling up inference and learning in Gaussian processes to larger datasets. For $N$ training points, exact inference has $O(N^3)$ cost; with $M \ll N$ features, state of the art sparse variational methods have $O(NM^2)$ cost. Recently, methods have been proposed using more sophisticated features; these promise $O(M^3)$ cost, with good performance in low dimensional tasks such as spatial modelling, but they only work with a very limited class of kernels, excluding some of the most commonly used. In this work, we propose integrated Fourier features, which extends these performance benefits to a very broad class of stationary covariance functions. We motivate the method and choice of parameters from a convergence analysis and empirical exploration, and show practical speedup in synthetic and real world spatial regression tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google