Variational Nearest Neighbor Gaussian Process

要約

ガウス過程 (GP) への変分近似では、通常、少数の誘導点のセットを使用して、共分散行列への低ランク近似を形成します。
この研究では、代わりに精度行列のスパース近似を利用します。
我々は、変分最近傍ガウス過程 (VNNGP) を提案します。これは、$K$ 最近傍観測内の相関のみを保持する事前分布を導入し、それによって疎な精度構造を誘導します。
変分フレームワークを使用すると、VNNGP の目的を観測点と誘導点の両方で因数分解でき、$O(K^3)$ の時間計算量で確率的最適化が可能になります。
したがって、観測されたすべての位置に誘導点を配置する点まで、誘導点のサイズを任意にスケールできます。
私たちは、さまざまな実験を通じて VNNGP を他のスケーラブルな GP と比較し、VNNGP が (1) 低ランクの手法よりも大幅に優れたパフォーマンスを発揮できること、および (2) 他の最近傍手法に比べて過学習の傾向が低いことを実証しました。

要約(オリジナル)

Variational approximations to Gaussian processes (GPs) typically use a small set of inducing points to form a low-rank approximation to the covariance matrix. In this work, we instead exploit a sparse approximation of the precision matrix. We propose variational nearest neighbor Gaussian process (VNNGP), which introduces a prior that only retains correlations within $K$ nearest-neighboring observations, thereby inducing sparse precision structure. Using the variational framework, VNNGP’s objective can be factorized over both observations and inducing points, enabling stochastic optimization with a time complexity of $O(K^3)$. Hence, we can arbitrarily scale the inducing point size, even to the point of putting inducing points at every observed location. We compare VNNGP to other scalable GPs through various experiments, and demonstrate that VNNGP (1) can dramatically outperform low-rank methods, and (2) is less prone to overfitting than other nearest neighbor methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google