Enhancing High-dimensional Bayesian Optimization by Optimizing the Acquisition Function Maximizer Initialization

要約

ベイジアン最適化 (BO) は、ブラック ボックス関数を最適化するために広く使用されています。
最初に目的のサロゲートを作成し、そのサロゲートの不確実性を定量化することで機能します。
次に、代理モデルによって定義された取得関数を最大化することによって、サンプリングする場所を決定します。
従来のアプローチは通常、ランダムに生成された生のサンプルを使用して取得関数マキシマイザーを初期化します。
ただし、この戦略は高次元の BO には適していません。
高次元で事後不確実性が高い大きな領域を考えると、ランダムに初期化された取得関数マキシマイザーは、事後不確実性が高い領域に焦点を当てる可能性が高く、ほとんど利益をもたらさない領域を過度に探索することになります。
この論文は、取得関数の最大化の初期化フェーズの重要性を明らかにするための最初の包括的な実証的研究を提供します。
複数のヒューリスティック オプティマイザーを使用して、既に評価されたサンプルの知識を活用し、取得関数マキシマイザーによって調査される初期ポイントを生成することにより、より優れた初期化アプローチを提案します。
広く使用されている合成テスト関数と実際のアプリケーションでのアプローチを評価します。
実験結果は、私たちの手法は単純ですが、標準的な BO を大幅に強化し、ほとんどのテスト ケースで最先端の高次元 BO 手法を大幅に上回ることを示しています。

要約(オリジナル)

Bayesian optimization (BO) is widely used to optimize black-box functions. It works by first building a surrogate for the objective and quantifying the uncertainty in that surrogate. It then decides where to sample by maximizing an acquisition function defined by the surrogate model. Prior approaches typically use randomly generated raw samples to initialize the acquisition function maximizer. However, this strategy is ill-suited for high-dimensional BO. Given the large regions of high posterior uncertainty in high dimensions, a randomly initialized acquisition function maximizer is likely to focus on areas with high posterior uncertainty, leading to overly exploring areas that offer little gain. This paper provides the first comprehensive empirical study to reveal the importance of the initialization phase of acquisition function maximization. It proposes a better initialization approach by employing multiple heuristic optimizers to leverage the knowledge of already evaluated samples to generate initial points to be explored by an acquisition function maximizer. We evaluate our approach on widely used synthetic test functions and real-world applications. Experimental results show that our techniques, while simple, can significantly enhance the standard BO and outperforms state-of-the-art high-dimensional BO techniques by a large margin in most test cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google