Numerically Stable Sparse Gaussian Processes via Minimum Separation using Cover Trees

要約

ガウス プロセスは、地理空間モデリング、ベイズ最適化、潜在ガウス モデルなど、より大規模な機械学習および意思決定システムの一部として頻繁に導入されます。
システム内では、ガウス プロセス モデルがシステムの他の部分と正しく相互作用するために、安定した信頼性の高い方法で実行される必要があります。
この研究では、誘導点に基づいたスケーラブルなスパース近似の数値安定性を研究します。
そのために、最初に数値安定性を確認し、ガウス過程モデルが不安定になる可能性がある典型的な状況を示します。
もともと補間文献で開発された安定性理論に基づいて、計算が数値的に安定するように実行される誘導点に関する十分な条件、場合によっては必要な条件を導き出します。
地理空間モデリングなどの低次元タスクについては、これらの条件を満たす誘導点を計算するための自動化された方法を提案します。
これは、独立した関心のあるカバー ツリー データ構造の変更によって行われます。
さらに、安定性をさらに向上させるために少量のパフォーマンスと引き換えに、ガウス尤度を使用した回帰の代替スパース近似を提案します。
計算の安定性と、空間タスクに対する点法を導入する予測パフォーマンスとの関係を示す実例を提供します。

要約(オリジナル)

Gaussian processes are frequently deployed as part of larger machine learning and decision-making systems, for instance in geospatial modeling, Bayesian optimization, or in latent Gaussian models. Within a system, the Gaussian process model needs to perform in a stable and reliable manner to ensure it interacts correctly with other parts of the system. In this work, we study the numerical stability of scalable sparse approximations based on inducing points. To do so, we first review numerical stability, and illustrate typical situations in which Gaussian process models can be unstable. Building on stability theory originally developed in the interpolation literature, we derive sufficient and in certain cases necessary conditions on the inducing points for the computations performed to be numerically stable. For low-dimensional tasks such as geospatial modeling, we propose an automated method for computing inducing points satisfying these conditions. This is done via a modification of the cover tree data structure, which is of independent interest. We additionally propose an alternative sparse approximation for regression with a Gaussian likelihood which trades off a small amount of performance to further improve stability. We provide illustrative examples showing the relationship between stability of calculations and predictive performance of inducing point methods on spatial tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google