Random Exploration in Bayesian Optimization: Order-Optimal Regret and Computational Efficiency

要約

我々は、カーネルベースのバンディット最適化とも呼ばれる、ガウス過程モデルを用いたベイズ最適化について考察する。分布から無作為に抽出したサンプルを用いて領域を探索する方法論を研究する。このランダム探索手法が最適な誤り率を達成することを示す。我々の解析は、本研究で確立された無限次元ヒルベルト空間における新しい濃度境界に基づいており、これは独立に興味深いものである。さらに、領域縮小を伴うランダム探索に基づくアルゴリズムを開発し、ノイズのない設定とノイズのある設定の両方において、その次数最適後悔保証を確立する。ノイズのない設定では、我々の解析は後悔性能における既存のギャップを埋め、それによってCOLTの未解決問題を解決する。提案アルゴリズムはまた、ランダム探索により、各反復において問合せ点を選択するための非凸獲得関数の高価な最適化を省略できるため、一般的な手法よりも計算上の優位性を享受できる。

要約(オリジナル)

We consider Bayesian optimization using Gaussian Process models, also referred to as kernel-based bandit optimization. We study the methodology of exploring the domain using random samples drawn from a distribution. We show that this random exploration approach achieves the optimal error rates. Our analysis is based on novel concentration bounds in an infinite dimensional Hilbert space established in this work, which may be of independent interest. We further develop an algorithm based on random exploration with domain shrinking and establish its order-optimal regret guarantees under both noise-free and noisy settings. In the noise-free setting, our analysis closes the existing gap in regret performance and thereby resolves a COLT open problem. The proposed algorithm also enjoys a computational advantage over prevailing methods due to the random exploration that obviates the expensive optimization of a non-convex acquisition function for choosing the query points at each iteration.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL