Standard Gaussian Process is All You Need for High-Dimensional Bayesian Optimization

要約

標準ガウスプロセス (GP) を使用したベイジアン最適化 (BO) (標準 BO と呼ばれる) は、高次元の最適化問題には効果がないと広く信じられてきました。
この認識は部分的には、GP が共分散モデリングと関数推定のための高次元入力に苦労しているという直観に由来している可能性があります。
これらの懸念は合理的であるように見えますが、この考えを裏付ける経験的証拠は不足しています。
この論文では、高次元最適化のためのさまざまな合成および現実世界のベンチマーク問題にわたって、標準 GP 回帰を使用して BO を体系的に調査しました。
驚くべきことに、標準 GP のパフォーマンスは常に最高のランクにランクされており、多くの場合、高次元の最適化用に特別に設計された既存の BO 手法を大幅に上回っています。
固定観念に反して、標準 GP が高次元のターゲット関数を学習するための有能な代用として機能できることがわかりました。
強力な構造仮定がなければ、標準 GP を使用した BO は高次元の最適化に優れているだけでなく、ターゲット関数内のさまざまな構造に適応する際にも堅牢であることが証明されています。
さらに、標準 GP では、最尤推定を使用するだけで有望な最適化パフォーマンスを実現できるため、より複雑なサロゲート モデルで必要となる可能性がある高価なマルコフ連鎖モンテカルロ (MCMC) サンプリングの必要がなくなります。
したがって、私たちは、高次元の問題に対処する際の標準 BO の可能性を再評価し、徹底的に研究することを提唱します。

要約(オリジナル)

There has been a long-standing and widespread belief that Bayesian Optimization (BO) with standard Gaussian process (GP), referred to as standard BO, is ineffective in high-dimensional optimization problems. This perception may partly stem from the intuition that GPs struggle with high-dimensional inputs for covariance modeling and function estimation. While these concerns seem reasonable, empirical evidence supporting this belief is lacking. In this paper, we systematically investigated BO with standard GP regression across a variety of synthetic and real-world benchmark problems for high-dimensional optimization. Surprisingly, the performance with standard GP consistently ranks among the best, often outperforming existing BO methods specifically designed for high-dimensional optimization by a large margin. Contrary to the stereotype, we found that standard GP can serve as a capable surrogate for learning high-dimensional target functions. Without strong structural assumptions, BO with standard GP not only excels in high-dimensional optimization but also proves robust in accommodating various structures within the target functions. Furthermore, with standard GP, achieving promising optimization performance is possible by only using maximum likelihood estimation, eliminating the need for expensive Markov-Chain Monte Carlo (MCMC) sampling that might be required by more complex surrogate models. We thus advocate for a re-evaluation and in-depth study of the potential of standard BO in addressing high-dimensional problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google