STRIDE: Sparse Techniques for Regression in Deep Gaussian Processes

要約

ガウスプロセス（GPS）は、不確実性の定量化のための組み込み方法を使用して、回帰および関数近似の柔軟な機械学習モデルとして人気を博しています。
ただし、GPSは、トレーニングデータの量が多い場合、または基礎となる関数に固定カーネルで表現するのが困難なマルチスケール機能が含まれている場合に苦しみます。
前者に対処するために、大規模なデータを使用したGPのトレーニングは、誘導点近似（スパースGP回帰（GPR）とも呼ばれる）を通じて実行されることがよくあり、GPRの共分散行列のサイズは、データセットでの貪欲な検索によって大幅に削減されます。
後者を支援するために、深いGPは、複数のGPを組み合わせることでマルチスケール機能を解決する階層モデルとして牽引力を獲得しました。
深いGPSの後方推論には、サンプリングまたはより通常、変分近似が必要です。
変分近似は、大規模な確率的で非凸最適化の問題につながり、結果の近似は不確実性を誤って表す傾向があります。
この作業では、変分学習とMCMCを組み合わせて、粒子ベースの期待値模倣方法を開発し、同時に大規模なデータ内（バリエーション）内の誘導点を見つけ、GPS（サンプリングベース）を正確にトレーニングします。
その結果、大規模なデータに関する深いGPトレーニングのための非常に効率的で正確な方法論があります。
標準のベンチマークの問題に関する方法をテストします。

要約(オリジナル)

Gaussian processes (GPs) have gained popularity as flexible machine learning models for regression and function approximation with an in-built method for uncertainty quantification. However, GPs suffer when the amount of training data is large or when the underlying function contains multi-scale features that are difficult to represent by a stationary kernel. To address the former, training of GPs with large-scale data is often performed through inducing point approximations (also known as sparse GP regression (GPR)), where the size of the covariance matrices in GPR is reduced considerably through a greedy search on the data set. To aid the latter, deep GPs have gained traction as hierarchical models that resolve multi-scale features by combining multiple GPs. Posterior inference in deep GPs requires a sampling or, more usual, a variational approximation. Variational approximations lead to large-scale stochastic, non-convex optimisation problems and the resulting approximation tends to represent uncertainty incorrectly. In this work, we combine variational learning with MCMC to develop a particle-based expectation-maximisation method to simultaneously find inducing points within the large-scale data (variationally) and accurately train the GPs (sampling-based). The result is a highly efficient and accurate methodology for deep GP training on large-scale data. We test our method on standard benchmark problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google