Self-Adjusting Weighted Expected Improvement for Bayesian Optimization

要約

ベイジアン最適化 (BO) は、少ない評価予算でブラックボックス問題を最適化するための、サロゲートベースのサンプル効率の高いアルゴリズムの一種です。
BO パイプライン自体は高度に構成可能であり、初期設計、サロゲート モデル、取得関数 (AF) に関してさまざまな設計を選択できます。
残念ながら、当面の問題に適したコンポーネントを選択する方法についての私たちの理解は非常に限られています。
この研究では、AF の定義に焦点を当てます。その主な目的は、不確実性の高い領域の探索と、優れた解決策が期待できる領域との間のトレードオフのバランスをとることです。
私たちは、BO の収束基準に基づいて、探索と活用のトレードオフをデータ駆動型の方法で自己調整させる、自己調整加重期待改善 (SAWEI) を提案します。
COCO ベンチマーク プラットフォームのノイズのないブラック ボックス BBOB 関数では、私たちの手法は手作りのベースラインと比較して常に良好なパフォーマンスを示し、あらゆる問題構造に対する堅牢なデフォルトの選択肢として機能します。
私たちの方法の適合性は HPOBench にも反映されます。
SAWEI を使用することで、当面の問題に合わせてサンプリング動作を自動的に調整する、オンザフライでデータ駆動型の堅牢な BO 設計に一歩近づきます。

要約(オリジナル)

Bayesian Optimization (BO) is a class of surrogate-based, sample-efficient algorithms for optimizing black-box problems with small evaluation budgets. The BO pipeline itself is highly configurable with many different design choices regarding the initial design, surrogate model, and acquisition function (AF). Unfortunately, our understanding of how to select suitable components for a problem at hand is very limited. In this work, we focus on the definition of the AF, whose main purpose is to balance the trade-off between exploring regions with high uncertainty and those with high promise for good solutions. We propose Self-Adjusting Weighted Expected Improvement (SAWEI), where we let the exploration-exploitation trade-off self-adjust in a data-driven manner, based on a convergence criterion for BO. On the noise-free black-box BBOB functions of the COCO benchmarking platform, our method exhibits a favorable any-time performance compared to handcrafted baselines and serves as a robust default choice for any problem structure. The suitability of our method also transfers to HPOBench. With SAWEI, we are a step closer to on-the-fly, data-driven, and robust BO designs that automatically adjust their sampling behavior to the problem at hand.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google