Are Random Decompositions all we need in High Dimensional Bayesian Optimisation?

要約

評価にコストがかかるブラック ボックス関数の分解を学習すると、ベイズ最適化 (BO) を高次元の問題に拡張できることが期待されます。
ただし、これらの手法が成功するかどうかは、ブラック ボックスを正確に表す適切な分解を見つけられるかどうかにかかっています。
以前の研究ではデータに基づいてこれらの分解を学習しましたが、この論文ではデータに依存しない分解サンプリング ルールを調査します。
データ駆動型の分解学習者は、検索空間全体でグローバルに成立しないローカルな分解に簡単に誤解される可能性があることがわかりました。
次に、ランダム ツリー ベースの分解サンプラーが、最大の情報獲得と実際のブラック ボックスと分解によって提供されるそのサロゲートの間の機能的不一致を効果的にトレードオフする有利な理論的保証を示すことを正式に示します。
これらの結果は、(ほぼ) プラグアンドプレイで実装が簡単なランダム分解信頼限界アルゴリズム (RDUCB) の開発の動機となり、驚くべきことに、以前の現状と比較して大幅な経験的利益をもたらします。
一連の包括的なベンチマークに基づいたアート。
また、私たちの手法を HEBO と統合することで、モデリング コンポーネントのプラグ アンド プレイの性質も確認し、ベイズマークによる最高次元のタスクにおける実際的な利益が向上していることを示しています。

要約(オリジナル)

Learning decompositions of expensive-to-evaluate black-box functions promises to scale Bayesian optimisation (BO) to high-dimensional problems. However, the success of these techniques depends on finding proper decompositions that accurately represent the black-box. While previous works learn those decompositions based on data, we investigate data-independent decomposition sampling rules in this paper. We find that data-driven learners of decompositions can be easily misled towards local decompositions that do not hold globally across the search space. Then, we formally show that a random tree-based decomposition sampler exhibits favourable theoretical guarantees that effectively trade off maximal information gain and functional mismatch between the actual black-box and its surrogate as provided by the decomposition. Those results motivate the development of the random decomposition upper-confidence bound algorithm (RDUCB) that is straightforward to implement – (almost) plug-and-play – and, surprisingly, yields significant empirical gains compared to the previous state-of-the-art on a comprehensive set of benchmarks. We also confirm the plug-and-play nature of our modelling component by integrating our method with HEBO, showing improved practical gains in the highest dimensional tasks from Bayesmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google