Simulation Based Bayesian Optimization

要約

ベイジアン最適化 (BO) は、事前の知識と進行中の関数評価を組み合わせてブラックボックス関数を最適化する強力な方法です。
BO は、共変量が与えられた目的関数の確率的代理モデルを構築します。このモデルは、取得関数を通じて将来の評価点の選択を通知するために使用されます。
滑らかな連続探索空間の場合、事後予測分布への分析的アクセスを提供するガウス過程 (GP) が代理モデルとして一般的に使用され、取得関数の計算と最適化が容易になります。
ただし、カテゴリ空間または混合共変量空間の最適化を伴う複雑なシナリオでは、GP は理想的ではない可能性があります。
この論文では、事後予測分布への \emph{サンプリングベース} アクセスのみを必要とする取得関数を最適化する新しいアプローチとして、シミュレーション ベースのベイジアン最適化 (SBBO) を紹介します。
SBBO では、離散変数を含む組み合わせ空間に合わせて調整された代理確率モデルの使用が可能になります。
マルコフ連鎖モンテカルロを通じて事後推論が実行される任意のベイジアン モデルを、SBBO の代理モデルとして選択できます。
組み合わせ最適化を伴うアプリケーションでは、代理モデルのさまざまな選択を使用して SBBO 法の有効性を経験的に実証します。

要約(オリジナル)

Bayesian Optimization (BO) is a powerful method for optimizing black-box functions by combining prior knowledge with ongoing function evaluations. BO constructs a probabilistic surrogate model of the objective function given the covariates, which is in turn used to inform the selection of future evaluation points through an acquisition function. For smooth continuous search spaces, Gaussian Processes (GPs) are commonly used as the surrogate model as they offer analytical access to posterior predictive distributions, thus facilitating the computation and optimization of acquisition functions. However, in complex scenarios involving optimizations over categorical or mixed covariate spaces, GPs may not be ideal. This paper introduces Simulation Based Bayesian Optimization (SBBO) as a novel approach to optimizing acquisition functions that only requires \emph{sampling-based} access to posterior predictive distributions. SBBO allows the use of surrogate probabilistic models tailored for combinatorial spaces with discrete variables. Any Bayesian model in which posterior inference is carried out through Markov chain Monte Carlo can be selected as the surrogate model in SBBO. In applications involving combinatorial optimization, we demonstrate empirically the effectiveness of SBBO method using various choices of surrogate models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google