Approximation-Aware Bayesian Optimization

要約

分子設計などの高次元ベイジアン最適化 (BO) タスクでは、意味のある結果を得るまでに 10,000 回の関数評価が必要になることがよくあります。
スパース変分ガウス過程 (SVGP) などの手法は、これらの設定での計算要件を軽減しますが、基礎となる近似により、最適化の進行が遅くなる最適以下のデータ取得が発生します。
この論文では、BO の目標、つまりグローバル事後忠実度ではなく、情報に基づいたデータ収集をターゲットとすることにより適合するように SVGP を修正します。
ユーティリティで調整された変分推論のフレームワークを使用して、GP 近似とデータ取得を統合最適化問題に統合し、それによって限られた計算予算の下で最適な決定を保証します。
私たちのアプローチは、任意の決定理論取得関数で使用でき、TurBO のような信頼領域メソッドと互換性があります。
標準およびバッチ BO 設定の両方で、期待される改善と知識勾配獲得機能のための効率的な共同目標を導き出します。
私たちのアプローチは、制御および分子設計における高次元ベンチマーク タスクにおいて標準 SVGP よりも優れたパフォーマンスを発揮します。

要約(オリジナル)

High-dimensional Bayesian optimization (BO) tasks such as molecular design often require 10,000 function evaluations before obtaining meaningful results. While methods like sparse variational Gaussian processes (SVGPs) reduce computational requirements in these settings, the underlying approximations result in suboptimal data acquisitions that slow the progress of optimization. In this paper we modify SVGPs to better align with the goals of BO: targeting informed data acquisition rather than global posterior fidelity. Using the framework of utility-calibrated variational inference, we unify GP approximation and data acquisition into a joint optimization problem, thereby ensuring optimal decisions under a limited computational budget. Our approach can be used with any decision-theoretic acquisition function and is compatible with trust region methods like TuRBO. We derive efficient joint objectives for the expected improvement and knowledge gradient acquisition functions in both the standard and batch BO settings. Our approach outperforms standard SVGPs on high-dimensional benchmark tasks in control and molecular design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google