Optimizing Posterior Samples for Bayesian Optimization via Rootfinding

要約

Bayesian Optimizationは、一連の取得関数のグローバルな最適化に費用のかかる目標関数のグローバルな最適化を委ねます。
この内部ループの最適化は、特に高次元で後部のサンプル経路を伴う場合、壊滅的に困難になる可能性があります。
グローバルルートファインディングに基づいて、事後サンプルの効率的なグローバル最適化戦略を導入します。
グラデーションベースのオプティマザーに、探索と搾取を組み合わせたように設計された2セットの慎重に選択された出発点を提供します。
出発点の数は、最適化の品質を犠牲にすることなく、小さく保つことができます。
驚くべきことに、各セットから1ポイントだけであっても、ほとんどの場合、グローバルな最適が発見されます。
アルゴリズムは実質的に高次元に尺度でスケーリングし、次元の呪いを破ります。
Gaussian Process Thompson Sampling（GP-TS）では、ほとんどの場合、EIやGP-UCBなどの驚くほど優れた代替案を驚くほど上回る内部と外側のループ最適化の両方の顕著な改善を示しています。
また、私たちのアプローチは、エントロピー検索のバリエーションなど、他の後部サンプルベースの取得機能のパフォーマンスを改善します。
さらに、GP-TSのサンプル平均定式化を提案します。GP-TSは、搾取を明示的に制御するパラメーターを持ち、1つの事後サンプルのコストで計算できます。
実装はhttps://github.com/uquh/tsrootsで入手できます。

要約(オリジナル)

Bayesian optimization devolves the global optimization of a costly objective function to the global optimization of a sequence of acquisition functions. This inner-loop optimization can be catastrophically difficult if it involves posterior sample paths, especially in higher dimensions. We introduce an efficient global optimization strategy for posterior samples based on global rootfinding. It provides gradient-based optimizers with two sets of judiciously selected starting points, designed to combine exploration and exploitation. The number of starting points can be kept small without sacrificing optimization quality. Remarkably, even with just one point from each set, the global optimum is discovered most of the time. The algorithm scales practically linearly to high dimensions, breaking the curse of dimensionality. For Gaussian process Thompson sampling (GP-TS), we demonstrate remarkable improvement in both inner- and outer-loop optimization, surprisingly outperforming alternatives like EI and GP-UCB in most cases. Our approach also improves the performance of other posterior sample-based acquisition functions, such as variants of entropy search. Furthermore, we propose a sample-average formulation of GP-TS, which has a parameter to explicitly control exploitation and can be computed at the cost of one posterior sample. Our implementation is available at https://github.com/UQUH/TSRoots .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google