Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent

要約

ガウス プロセスは、不確実性を定量化し、逐次的な意思決定を行うための強力なフレームワークですが、線形システムを解くという要件によって制限されます。
一般に、これにはデータセット サイズの 3 乗のコストがかかり、条件付けの影響を受けやすくなります。
私たちは、これらの線形システムを近似的に解く計算効率の高い方法として、確率的勾配アルゴリズムを探索します。事後からのサンプリングのための低分散最適化目標を開発し、これらを誘導点に拡張します。
直感に反しますが、確率的勾配降下法は、すぐに最適値に収束しない場合でも、多くの場合正確な予測を生成します。
非収束による暗黙のバイアスのスペクトル特性を通じてこれを説明します。
確率的勾配降下法では、データが十分にカバーされている領域と、データから十分に離れた領域の両方で、真の事後分布に近い予測分布が生成されることを示します。
実験的には、確率的勾配降下法は、十分に大規模な回帰タスクや条件の悪い回帰タスクで最先端のパフォーマンスを達成します。
その不確実性の推定値は、大規模なベイジアン最適化タスクにおけるはるかに高価なベースラインのパフォーマンスと一致します。

要約(オリジナル)

Gaussian processes are a powerful framework for quantifying uncertainty and for sequential decision-making but are limited by the requirement of solving linear systems. In general, this has a cubic cost in dataset size and is sensitive to conditioning. We explore stochastic gradient algorithms as a computationally efficient method of approximately solving these linear systems: we develop low-variance optimization objectives for sampling from the posterior and extend these to inducing points. Counterintuitively, stochastic gradient descent often produces accurate predictions, even in cases where it does not converge quickly to the optimum. We explain this through a spectral characterization of the implicit bias from non-convergence. We show that stochastic gradient descent produces predictive distributions close to the true posterior both in regions with sufficient data coverage, and in regions sufficiently far away from the data. Experimentally, stochastic gradient descent achieves state-of-the-art performance on sufficiently large-scale or ill-conditioned regression tasks. Its uncertainty estimates match the performance of significantly more expensive baselines on a large-scale Bayesian~optimization~task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google