Leveraging Locality and Robustness to Achieve Massively Scalable Gaussian Process Regression

要約

GP 回帰によって提供される正確な予測と原則に基づいた不確実性測定には O(n^3) のコストがかかり、現代の大規模アプリケーションには法外なコストがかかります。
これにより、計算効率の高い近似に関する広範な研究が行われるようになりました。
GP 最近隣 (GPnn) 予測のロバスト性特性と制限動作を調査することで、新しい視点を導入します。
我々は、データサイズ n が増加するにつれて、推定パラメータと GP モデルの仮定の精度が GPnn の予測精度にますます無関係になることを理論とシミュレーションを通じて実証します。
したがって、重大な仕様ミスが存在する場合でも、高い MSE 精度を達成するには、パラメータ推定に少量の作業を費やすだけで十分です。
対照的に、n は無限大になる傾向があるため、不確かさの校正と NLL は 1 つのパラメータ、つまり加算ノイズ分散のみに影響を受け続けることが示されています。
しかし、この不正確さの原因は修正できることを示し、それによって、著しく低い計算コストで、十分に校正された不確実性測定と正確な予測の両方を達成できることを示します。
私たちは、大規模な UCI データセットで測定された他の最先端の GP 近似と比較して際立ったパフォーマンスを備えた、非常にシンプルな GPnn 回帰アルゴリズムを紹介します。
これは、他の手法のトレーニング コストのほんの一部で動作します。たとえば、基本的なラップトップでは、サイズ n = 1.6 x 10^6 のデータセットのトレーニングに約 30 秒かかります。

要約(オリジナル)

The accurate predictions and principled uncertainty measures provided by GP regression incur O(n^3) cost which is prohibitive for modern-day large-scale applications. This has motivated extensive work on computationally efficient approximations. We introduce a new perspective by exploring robustness properties and limiting behaviour of GP nearest-neighbour (GPnn) prediction. We demonstrate through theory and simulation that as the data-size n increases, accuracy of estimated parameters and GP model assumptions become increasingly irrelevant to GPnn predictive accuracy. Consequently, it is sufficient to spend small amounts of work on parameter estimation in order to achieve high MSE accuracy, even in the presence of gross misspecification. In contrast, as n tends to infinity, uncertainty calibration and NLL are shown to remain sensitive to just one parameter, the additive noise-variance; but we show that this source of inaccuracy can be corrected for, thereby achieving both well-calibrated uncertainty measures and accurate predictions at remarkably low computational cost. We exhibit a very simple GPnn regression algorithm with stand-out performance compared to other state-of-the-art GP approximations as measured on large UCI datasets. It operates at a small fraction of those other methods’ training costs, for example on a basic laptop taking about 30 seconds to train on a dataset of size n = 1.6 x 10^6.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google