An Adaptive Dropout Approach for High-Dimensional Bayesian Optimization

要約

Bayesian Optimization（BO）は、高価なブラックボックスの最適化問題を解決するために広く使用されているアルゴリズムです。
ただし、そのパフォーマンスは、取得関数に固有の高次元性により、高次元の問題で大幅に減少します。
提案されているアルゴリズムでは、繰り返しに沿った取得関数の変数を適応的にドロップアウトします。
取得関数の次元を徐々に減らすことにより、提案されたアプローチは、取得関数を最適化するのがますます困難になります。
数値実験は、Adadropoutが高次元の課題に効果的に取り組み、標準的なベイズの最適化方法がしばしば苦労しているソリューションの品質を改善することを示しています。
さらに、最先端の高次元ベイジアン最適化アプローチと比較すると、優れた結果を達成します。
この作業は、高次元の高価な最適化のためのシンプルで効率的なソリューションを提供します。

要約(オリジナル)

Bayesian optimization (BO) is a widely used algorithm for solving expensive black-box optimization problems. However, its performance decreases significantly on high-dimensional problems due to the inherent high-dimensionality of the acquisition function. In the proposed algorithm, we adaptively dropout the variables of the acquisition function along the iterations. By gradually reducing the dimension of the acquisition function, the proposed approach has less and less difficulty to optimize the acquisition function. Numerical experiments demonstrate that AdaDropout effectively tackle high-dimensional challenges and improve solution quality where standard Bayesian optimization methods often struggle. Moreover, it achieves superior results when compared with state-of-the-art high-dimensional Bayesian optimization approaches. This work provides a simple yet efficient solution for high-dimensional expensive optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google