Stochastic Gradient Descent for Gaussian Processes Done Right

要約

二乗損失を使用してガウス過程回帰に関連する最適化問題を研究します。
この問題に対する最も一般的なアプローチは、共役勾配降下法などの厳密ソルバーを直接適用するか、問題の次数を削減したバージョンに適用することです。
最近、深層学習の成功により、確率的勾配降下法が代替手段として注目を集めています。
この論文では、$\unicode{x2014}$正しく実行された場合、つまり最適化コミュニティとカーネル コミュニティからの特定の洞察を使用することを意味します$\unicode{x2014}$このアプローチは非常に効果的であることを示します。
したがって、深層学習フレームワークを使用して数行のコードで実装できる特定の確率的二重勾配降下法アルゴリズムを導入します。
私たちは、アブレーション研究による代替法に対する利点を説明することで設計上の決定を説明し、新しい方法が非常に競争力があることを示します。
標準回帰ベンチマークとベイジアン最適化タスクでの評価により、事前条件付き共役勾配、変分ガウス過程近似、およびガウス過程の確率的勾配降下法の以前のバージョンとは異なるアプローチが確立されました。
分子結合親和性予測タスクにおいて、私たちの方法は、ガウス過程回帰のパフォーマンスの点で最先端のグラフ ニューラル ネットワークと同等の性能を発揮します。

要約(オリジナル)

We study the optimisation problem associated with Gaussian process regression using squared loss. The most common approach to this problem is to apply an exact solver, such as conjugate gradient descent, either directly, or to a reduced-order version of the problem. Recently, driven by successes in deep learning, stochastic gradient descent has gained traction as an alternative. In this paper, we show that when done right$\unicode{x2014}$by which we mean using specific insights from the optimisation and kernel communities$\unicode{x2014}$this approach is highly effective. We thus introduce a particular stochastic dual gradient descent algorithm, that may be implemented with a few lines of code using any deep learning framework. We explain our design decisions by illustrating their advantage against alternatives with ablation studies and show that the new method is highly competitive. Our evaluations on standard regression benchmarks and a Bayesian optimisation task set our approach apart from preconditioned conjugate gradients, variational Gaussian process approximations, and a previous version of stochastic gradient descent for Gaussian processes. On a molecular binding affinity prediction task, our method places Gaussian process regression on par in terms of performance with state-of-the-art graph neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google