BARK: A Fully Bayesian Tree Kernel for Black-box Optimization

要約

ベイジアン添加剤回帰ツリー（BART）に関するガウスプロセスの視点を使用して、ベイジアンの最適化を実行します。
Bart Kernel（Bark）はツリー契約を使用して、区分上の関心のある機能上の後部を定義し、マルコフチェーンモンテカルロアプローチを使用してツリーカーネルの空間を探索します。
BARTが機能のみをサンプリングする場合、結果の樹皮モデルは、機能上の分布を定義するガウスプロセスのサンプルを取得し、ベイジアン最適化のための取得関数を構築できるようにします。
私たちのツリーベースのアプローチにより、混合機能スペースであっても、サロゲートよりもグローバルな最適化が可能になります。
さらに、以前のツリーベースの多くのカーネルが関数値よりも不確実性の定量化を提供する場合、サンプリングスキームはツリー構造自体の不確実性をキャプチャします。
私たちの実験は、完全なベイズの代理と最適化手順の組み合わせにより、合成ベンチマークと応用ベンチマークの両方で樹皮の強力な性能を示しています。

要約(オリジナル)

We perform Bayesian optimization using a Gaussian process perspective on Bayesian Additive Regression Trees (BART). Our BART Kernel (BARK) uses tree agreement to define a posterior over piecewise-constant functions, and we explore the space of tree kernels using a Markov chain Monte Carlo approach. Where BART only samples functions, the resulting BARK model obtains samples of Gaussian processes defining distributions over functions, which allow us to build acquisition functions for Bayesian optimization. Our tree-based approach enables global optimization over the surrogate, even for mixed-feature spaces. Moreover, where many previous tree-based kernels provide uncertainty quantification over function values, our sampling scheme captures uncertainty over the tree structure itself. Our experiments show the strong performance of BARK on both synthetic and applied benchmarks, due to the combination of our fully Bayesian surrogate and the optimization procedure.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google