On the convergence rate of noisy Bayesian Optimization with Expected Improvement

要約

予想改善（EI）は、ベイジアン最適化（BO）で最も広く使用されている獲得機能の1つです。
何十年ものアプリケーションでの成功が証明されているにもかかわらず、EIの理論的収束行動とレートに関する重要な開かれた問題が残っています。
この論文では、3つの斬新で重要な領域におけるEIの収束理論に貢献しています。
まず、ガウスプロセス（GP）以前の仮定の下に適合する客観的関数を検討しますが、既存の作業は主にカーネルヒルベルトスペース（RKHS）の再現性に焦点を当てています。
第二に、漸近誤差が結合したのは初めて、GP-EIの対応するレートをGP事前の仮定の下で騒々しい観測とともに確立します。
第三に、非凸EI関数の探索と搾取特性を調査することにより、ノイズフリーとノイズの多いケースの両方について、GP-EIの改善された誤差境界を確立します。

要約(オリジナル)

Expected improvement (EI) is one of the most widely used acquisition functions in Bayesian optimization (BO). Despite its proven success in applications for decades, important open questions remain on the theoretical convergence behaviors and rates for EI. In this paper, we contribute to the convergence theory of EI in three novel and critical areas. First, we consider objective functions that fit under the Gaussian process (GP) prior assumption, whereas existing works mostly focus on functions in the reproducing kernel Hilbert space (RKHS). Second, we establish for the first time the asymptotic error bound and its corresponding rate for GP-EI with noisy observations under the GP prior assumption. Third, by investigating the exploration and exploitation properties of the non-convex EI function, we establish improved error bounds of GP-EI for both the noise-free and noisy cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google