Cost-aware learning of relevant contextual variables within Bayesian optimization

要約

コンテキスト ベイジアン最適化 (CBO) は、設計変数に関してブラックボックスで評価にコストのかかる関数を最適化すると同時に、実験条件などの環境に関する関連コンテキスト情報を効率的に統合するための強力なフレームワークです。
ただし、実際のシナリオの多くでは、コンテキスト変数の関連性が必ずしも事前にわかっているわけではありません。
さらに、コンテキスト変数自体が最適化される場合もありますが、現在の CBO アルゴリズムではこの設定は考慮されていません。
コンテキスト変数の最適化にはコストがかかる場合があり、関連する最小限のサブセットを決定するという問題が生じます。
この論文では、この問題をコストを意識したモデル選択 BO タスクとして枠組み化し、新しい手法である感度分析駆動コンテキスト BO (SADCBO) を使用してそれに取り組みます。
BO の早期停止に関する最近の開発を活用することで最適化のコストを最小限に抑えながら、特定の入力ポイントにおける事後サロゲート モデルの感度分析によってコンテキスト変数の関連性を学習します。
私たちは、広範なアブレーション研究とともに合成実験で、提案した SADCBO を代替案と比較して経験的に評価し、例全体で一貫した改善を実証しています。

要約(オリジナル)

Contextual Bayesian Optimization (CBO) is a powerful framework for optimizing black-box, expensive-to-evaluate functions with respect to design variables, while simultaneously efficiently integrating relevant contextual information regarding the environment, such as experimental conditions. However, in many practical scenarios, the relevance of contextual variables is not necessarily known beforehand. Moreover, the contextual variables can sometimes be optimized themselves, a setting that current CBO algorithms do not take into account. Optimizing contextual variables may be costly, which raises the question of determining a minimal relevant subset. In this paper, we frame this problem as a cost-aware model selection BO task and address it using a novel method, Sensitivity-Analysis-Driven Contextual BO (SADCBO). We learn the relevance of context variables by sensitivity analysis of the posterior surrogate model at specific input points, whilst minimizing the cost of optimization by leveraging recent developments on early stopping for BO. We empirically evaluate our proposed SADCBO against alternatives on synthetic experiments together with extensive ablation studies, and demonstrate a consistent improvement across examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google