Framework and Benchmarks for Combinatorial and Mixed-variable Bayesian Optimization

要約

このペーパーでは、現場における体系的なベンチマークと標準化された評価の欠如に対処するために、混合変数および組み合わせベイジアン最適化 (MCBO) のモジュール式フレームワークを紹介します。
現在の MCBO の論文では、その手法を評価するために非多様または非標準のベンチマークが導入されていることが多く、さまざまな MCBO プリミティブとその組み合わせの適切な評価が妨げられています。
さらに、単一の MCBO プリミティブのソリューションを紹介する論文では、残りのプリミティブに対して同じ方法を利用するベースラインに対するベンチマークが省略されることがよくあります。
この省略は主に、実装にかかる多大なオーバーヘッドが原因であり、その結果、管理された評価が欠如し、貢献のメリットを効果的に示すことができなくなります。
これらの課題を克服するために、私たちが提案するフレームワークは、ベイズ最適化コンポーネントの簡単な組み合わせを可能にし、合成および現実世界のベンチマーク タスクの多様なセットを提供します。
この柔軟性を活用して、47 の新しい MCBO アルゴリズムを実装し、10 のタスクに関して 7 つの既存の MCBO ソルバーと 5 つの標準ブラックボックス最適化アルゴリズムに対してベンチマークを行い、4000 を超える実験を実施しました。
私たちの発見は、既存のアプローチを上回る MCBO プリミティブの優れた組み合わせを明らかにし、モデルの適合と信頼領域の使用の重要性を示しています。
MCBO ライブラリは、\url{https://github.com/huawei-noah/HEBO/tree/master/MCBO} で MIT ライセンスに基づいて利用可能です。

要約(オリジナル)

This paper introduces a modular framework for Mixed-variable and Combinatorial Bayesian Optimization (MCBO) to address the lack of systematic benchmarking and standardized evaluation in the field. Current MCBO papers often introduce non-diverse or non-standard benchmarks to evaluate their methods, impeding the proper assessment of different MCBO primitives and their combinations. Additionally, papers introducing a solution for a single MCBO primitive often omit benchmarking against baselines that utilize the same methods for the remaining primitives. This omission is primarily due to the significant implementation overhead involved, resulting in a lack of controlled assessments and an inability to showcase the merits of a contribution effectively. To overcome these challenges, our proposed framework enables an effortless combination of Bayesian Optimization components, and provides a diverse set of synthetic and real-world benchmarking tasks. Leveraging this flexibility, we implement 47 novel MCBO algorithms and benchmark them against seven existing MCBO solvers and five standard black-box optimization algorithms on ten tasks, conducting over 4000 experiments. Our findings reveal a superior combination of MCBO primitives outperforming existing approaches and illustrate the significance of model fit and the use of a trust region. We make our MCBO library available under the MIT license at \url{https://github.com/huawei-noah/HEBO/tree/master/MCBO}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google