Iterative Methods for Vecchia-Laplace Approximations for Latent Gaussian Process Models

要約

潜在ガウス過程 (GP) モデルは、柔軟な確率的ノンパラメトリック関数モデルです。
ベッキア近似は、GP が大規模データの計算ボトルネックを克服するための正確な近似です。ラプラス近似は、非ガウス尤度の周辺尤度および事後予測分布を近似するための漸近収束保証を備えた高速な方法です。
残念ながら、コレスキー分解などの直接ソルバー手法と組み合わせて使用​​すると、ベッキア-ラプラス近似を組み合わせた場合の計算の複雑さは、サンプル サイズが線形的に増加するよりも速く増加します。
したがって、ベッキア・ラプラス近似による計算は、近似が通常最も正確であるとき、つまり大規模なデータセットの場合に、非常に遅くなる可能性があります。
この記事では、この欠点を克服するための反復的な方法を紹介します。
とりわけ、いくつかの前提条件を導入および分析し、新しい収束結果を導き出し、予測分散を正確に近似するための新しい方法を提案します。
私たちは、提案された手法を理論的に、およびシミュレーションされた現実世界のデータを使用した実験で分析します。
特に、コレスキーベースの計算と比較して一桁高速化され、大型衛星での最先端の方法と比較して、連続ランク付け確率スコアに関して予測精度が 3 倍向上しました。
データセット。
すべてのメソッドは、高レベルの Python および R パッケージを含む無料の C++ ソフトウェア ライブラリに実装されています。

要約(オリジナル)

Latent Gaussian process (GP) models are flexible probabilistic non-parametric function models. Vecchia approximations are accurate approximations for GPs to overcome computational bottlenecks for large data, and the Laplace approximation is a fast method with asymptotic convergence guarantees to approximate marginal likelihoods and posterior predictive distributions for non-Gaussian likelihoods. Unfortunately, the computational complexity of combined Vecchia-Laplace approximations grows faster than linearly in the sample size when used in combination with direct solver methods such as the Cholesky decomposition. Computations with Vecchia-Laplace approximations can thus become prohibitively slow precisely when the approximations are usually the most accurate, i.e., on large data sets. In this article, we present iterative methods to overcome this drawback. Among other things, we introduce and analyze several preconditioners, derive new convergence results, and propose novel methods for accurately approximating predictive variances. We analyze our proposed methods theoretically and in experiments with simulated and real-world data. In particular, we obtain a speed-up of an order of magnitude compared to Cholesky-based calculations and a threefold increase in prediction accuracy in terms of the continuous ranked probability score compared to a state-of-the-art method on a large satellite data set. All methods are implemented in a free C++ software library with high-level Python and R packages.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google