Deterministic Global Optimization of the Acquisition Function in Bayesian Optimization: To Do or Not To Do?

要約

ガウスプロセスを使用したベイジアン最適化（BO）は、収集機能の最適化に依存してサンプリングを決定します。
取得関数の最適化のために、従来のローカスおよび確率的グローバルソルバー（それぞれL-BFGS-Bおよびマルチスタート）と比較して、決定論的グローバルソルバー（MAINGO）を使用することの利点と欠点を調査します。
CPUの効率については、Maingoの時間制限を設定し、最適なポイントを最適にします。
繰り返し数値実験を実行し、最初はベンチマーク関数としてMuller-Brownポテンシャルを使用して、低い信頼境界取得関数を利用します。
さらに、3つの代替ベンチマーク関数で調査結果を検証します。
統計分析では、取得機能が（探索とは対照的に）より搾取的である場合、MaingoのBOがローカルソルバーよりも少ない反復で収束することが明らかになります。
ただし、データセットに多様性がない場合、または取得関数が過度に搾取的である場合、ローカルソルバーと比較してMaingoを使用したBOは、ブラックボックス関数のグローバルなly最適なソリューションではなくローカルに収束する可能性が高くなります。
L-BFGS-Bとマルチスタートは、次のサンプリングポイントの選択に確率性を導入することにより、BOのこのリスクを軽減します。
最終的に、選択されていない収集機能の最適下最適化が最適なソリューションよりも好ましい場合があります。
取得関数がより探索的である場合、Maingo、Multi-Start、およびL-BFGS-Bを使用したBOは、世界的に近い最適なソリューションとの収束の同等の確率を実現します（ただし、MaingoとのBOは、これらの条件下で収束するためにより多くの反復が必要になる場合があります）。

要約(オリジナル)

Bayesian Optimization (BO) with Gaussian Processes relies on optimizing an acquisition function to determine sampling. We investigate the advantages and disadvantages of using a deterministic global solver (MAiNGO) compared to conventional local and stochastic global solvers (L-BFGS-B and multi-start, respectively) for the optimization of the acquisition function. For CPU efficiency, we set a time limit for MAiNGO, taking the best point as optimal. We perform repeated numerical experiments, initially using the Muller-Brown potential as a benchmark function, utilizing the lower confidence bound acquisition function; we further validate our findings with three alternative benchmark functions. Statistical analysis reveals that when the acquisition function is more exploitative (as opposed to exploratory), BO with MAiNGO converges in fewer iterations than with the local solvers. However, when the dataset lacks diversity, or when the acquisition function is overly exploitative, BO with MAiNGO, compared to the local solvers, is more likely to converge to a local rather than a global ly near-optimal solution of the black-box function. L-BFGS-B and multi-start mitigate this risk in BO by introducing stochasticity in the selection of the next sampling point, which enhances the exploration of uncharted regions in the search space and reduces dependence on acquisition function hyperparameters. Ultimately, suboptimal optimization of poorly chosen acquisition functions may be preferable to their optimal solution. When the acquisition function is more exploratory, BO with MAiNGO, multi-start, and L-BFGS-B achieve comparable probabilities of convergence to a globally near-optimal solution (although BO with MAiNGO may require more iterations to converge under these conditions).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google