Comparison of High-Dimensional Bayesian Optimization Algorithms on BBOB

要約

ベイジアン最適化 (BO) は、ブラックボックスのサロゲートベースのヒューリスティックの一種で、評価にコストがかかるため、少ない評価予算しか認められない問題を効率的に最適化できます。
BO は、目的関数の評価が時間のかかるシミュレーションや物理実験に依存することが多い業界での数値最適化問題を解決するために特に人気があります。
しかし、多くの産業上の問題は、多数のパラメータに依存します。
これは BO アルゴリズムに課題をもたらし、次元が 15 変数を超えるとパフォーマンスが低下することがよく報告されています。
この問題に対処するために多くの新しいアルゴリズムが提案されていますが、どの最適化シナリオにどれが最適であるかはよくわかっていません。
この研究では、COCO 環境の 24 の BBOB 関数上で 5 つの最先端の高次元 BO アルゴリズムを、10 から 60 変数の範囲で次元を増加しながら比較します。バニラ BO および CMA-ES です。
私たちの結果は、限られた評価予算において CMA-ES よりも BO が優れていることを確認し、BO を改善するための最も有望なアプローチは信頼領域の使用であることを示唆しています。
ただし、さまざまな機能ランドスケープや予算活用フェーズごとにパフォーマンスに大きな違いがあることも観察されており、アルゴリズム コンポーネントのハイブリッド化などによる改善の可能性が示されています。

要約(オリジナル)

Bayesian Optimization (BO) is a class of black-box, surrogate-based heuristics that can efficiently optimize problems that are expensive to evaluate, and hence admit only small evaluation budgets. BO is particularly popular for solving numerical optimization problems in industry, where the evaluation of objective functions often relies on time-consuming simulations or physical experiments. However, many industrial problems depend on a large number of parameters. This poses a challenge for BO algorithms, whose performance is often reported to suffer when the dimension grows beyond 15 variables. Although many new algorithms have been proposed to address this problem, it is not well understood which one is the best for which optimization scenario. In this work, we compare five state-of-the-art high-dimensional BO algorithms, with vanilla BO and CMA-ES on the 24 BBOB functions of the COCO environment at increasing dimensionality, ranging from 10 to 60 variables. Our results confirm the superiority of BO over CMA-ES for limited evaluation budgets and suggest that the most promising approach to improve BO is the use of trust regions. However, we also observe significant performance differences for different function landscapes and budget exploitation phases, indicating improvement potential, e.g., through hybridization of algorithmic components.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google