Pseudo-Bayesian Optimization

要約

ベイジアン最適化は、高価なブラックボックス関数を最適化するための一般的なアプローチです。
その重要なアイデアは、サロゲート モデルを使用して目的を近似し、重要なことに、活用と探索のバランスをとったクエリ ポイントの順次検索を可能にする関連する不確実性を定量化することです。
ガウス過程 (GP) は、ベイズ原理に基づいた不確実性の定量化能力とモデリングの柔軟性のおかげで、サロゲート モデルの主な候補となっています。
しかし、その課題は、収束特性がより不透明になる可能性がある一連の代替案の登場にも拍車をかけています。
これらを動機として、この論文では、GP ベースの手法を超えて適用できるブラックボックス最適化の収束を保証するための最小限の要件を導き出す公理フレームワークを研究します。
さらに、疑似ベイジアン最適化と呼ばれるフレームワークの設計の自由度を活用して、経験的に優れたアルゴリズムを構築します。
特に、単純な局所回帰と、不確実性を定量化するための適切な「ランダム化事前」構築を使用することで、収束が保証されるだけでなく、高次元合成実験から現実的な実験に至るまでの例で、一貫して最先端のベンチマークを上回るパフォーマンスを示すことを示します。
ハイパーパラメータ調整とロボットアプリケーション。

要約(オリジナル)

Bayesian Optimization is a popular approach for optimizing expensive black-box functions. Its key idea is to use a surrogate model to approximate the objective and, importantly, quantify the associated uncertainty that allows a sequential search of query points that balance exploitation-exploration. Gaussian process (GP) has been a primary candidate for the surrogate model, thanks to its Bayesian-principled uncertainty quantification power and modeling flexibility. However, its challenges have also spurred an array of alternatives whose convergence properties could be more opaque. Motivated by these, we study in this paper an axiomatic framework that elicits the minimal requirements to guarantee black-box optimization convergence that could apply beyond GP-based methods. Moreover, we leverage the design freedom in our framework, which we call Pseudo-Bayesian Optimization, to construct empirically superior algorithms. In particular, we show how using simple local regression, and a suitable ‘randomized prior’ construction to quantify uncertainty, not only guarantees convergence but also consistently outperforms state-of-the-art benchmarks in examples ranging from high-dimensional synthetic experiments to realistic hyperparameter tuning and robotic applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google