A Coreset-based, Tempered Variational Posterior for Accurate and Scalable Stochastic Gaussian Process Inference

要約

我々は、重み付けされた擬似入出力点 (コアセット) の学習可能なセットに対する事後分布に基づく、新しい確率的変分ガウス過程 ($\mathcal{GP}$) 推論方法を提案します。
自由形式の変分族の代わりに、$\mathcal{GP}$s (CVTGP) に対して提案されたコアセットベースの変分調整族は、$\mathcal{GP}$ の事前確率とデータ尤度の観点から定義されます。
したがって、モデリングの誘導バイアスに対応します。
潜在的な $\mathcal{GP}$ コアセット変数に対する提案された事後変数の周辺化を通じて CVTGP の対数周辺尤度の下限を導出し、それが確率的最適化に適していることを示します。
CVTGP は、学習可能なパラメータのサイズを $\mathcal{O}(M)$ に削減し、数値的安定性を享受し、$\mathcal{O}(M^3)$ 時間と $\mathcal{O}(M^2) を維持します。
$ space-complexity は、コアセットベースの強化事後分布を活用することで、データのまばらで説明可能な表現を提供します。
ガウス観測ノイズを使用したシミュレーションおよび現実世界の回帰問題の結果は、CVTGP が代替の確率的 $\mathcal{GP}$ 推論方法よりも優れた証拠の下限推定値と予測二乗平均平方根誤差を提供することを検証しています。

要約(オリジナル)

We present a novel stochastic variational Gaussian process ($\mathcal{GP}$) inference method, based on a posterior over a learnable set of weighted pseudo input-output points (coresets). Instead of a free-form variational family, the proposed coreset-based, variational tempered family for $\mathcal{GP}$s (CVTGP) is defined in terms of the $\mathcal{GP}$ prior and the data-likelihood; hence, accommodating the modeling inductive biases. We derive CVTGP’s lower bound for the log-marginal likelihood via marginalization of the proposed posterior over latent $\mathcal{GP}$ coreset variables, and show it is amenable to stochastic optimization. CVTGP reduces the learnable parameter size to $\mathcal{O}(M)$, enjoys numerical stability, and maintains $\mathcal{O}(M^3)$ time- and $\mathcal{O}(M^2)$ space-complexity, by leveraging a coreset-based tempered posterior that, in turn, provides sparse and explainable representations of the data. Results on simulated and real-world regression problems with Gaussian observation noise validate that CVTGP provides better evidence lower-bound estimates and predictive root mean squared error than alternative stochastic $\mathcal{GP}$ inference methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google