Optimizing Posterior Samples for Bayesian Optimization via Rootfinding

要約

ベイジアン最適化は、コストのかかる目的関数の大域的な最適化を、一連の取得関数の大域的な最適化に発展させます。
このインナーループの最適化は、特に高次元の事後サンプルが関係する場合、壊滅的に困難になる可能性があります。
グローバル根探索に基づいた事後サンプルの効率的なグローバル最適化戦略を導入します。
利用と探索を組み合わせるように設計された、慎重に選択された開始点を備えた勾配ベースのオプティマイザーを提供します。
このアルゴリズムは、高次元まで実質的に線形にスケールします。
ガウス プロセス トンプソン サンプリング (GP-TS) やエントロピー検索のバリアントなどの事後サンプルベースの収集関数については、内側ループ最適化と外側ループ最適化の両方で顕著な改善が見られ、ほとんどの場合で EI や GP-UCB などの代替手法を驚くほど上回っています。
。
また、GP-TS のサンプル平均定式化も提案します。これは、利用を明示的に制御するパラメーターを持ち、1 つの事後サンプルのコストで計算できます。
私たちの実装は https://github.com/UQUH/TSRoots で入手できます。

要約(オリジナル)

Bayesian optimization devolves the global optimization of a costly objective function to the global optimization of a sequence of acquisition functions. This inner-loop optimization can be catastrophically difficult if it involves posterior samples, especially in higher dimensions. We introduce an efficient global optimization strategy for posterior samples based on global rootfinding. It provides gradient-based optimizers with judiciously selected starting points, designed to combine exploitation and exploration. The algorithm scales practically linearly to high dimensions. For posterior sample-based acquisition functions such as Gaussian process Thompson sampling (GP-TS) and variants of entropy search, we demonstrate remarkable improvement in both inner- and outer-loop optimization, surprisingly outperforming alternatives like EI and GP-UCB in most cases. We also propose a sample-average formulation of GP-TS, which has a parameter to explicitly control exploitation and can be computed at the cost of one posterior sample. Our implementation is available at https://github.com/UQUH/TSRoots .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google