Gradient-based Sample Selection for Faster Bayesian Optimization

要約

Bayesian Optimization（BO）は、ブラックボックスの最適化に効果的な手法です。
ただし、その適用性は、通常、ガウスプロセス（GP）サロゲートモデルを計算する際の立方体の複雑さのために、中程度の予算の問題に限定されています。
大規模な予算のシナリオでは、標準のGPモデルを直接採用すると、計算時間とリソースの要件が重要な課題に直面しています。
この論文では、BOの計算効率を高めるために、勾配ベースのサンプル選択ベイズ最適化（GSSBO）を提案します。
GPモデルは、データセット全体の代わりに選択したサンプルセットに構築されます。
これらのサンプルは、多様性と表現を維持するために勾配情報を活用することによって選択されます。
グラデーションベースのサンプル選択戦略の理論的分析を提供し、提案されたフレームワークの明示的なサブリン後悔の境界を取得します。
合成および現実世界のタスクに関する広範な実験は、私たちのアプローチがベースライン方法に匹敵する最適化パフォーマンスを維持しながら、BOのGPフィッティングの計算コストを大幅に削減することを示しています。

要約(オリジナル)

Bayesian optimization (BO) is an effective technique for black-box optimization. However, its applicability is typically limited to moderate-budget problems due to the cubic complexity in computing the Gaussian process (GP) surrogate model. In large-budget scenarios, directly employing the standard GP model faces significant challenges in computational time and resource requirements. In this paper, we propose a novel approach, gradient-based sample selection Bayesian Optimization (GSSBO), to enhance the computational efficiency of BO. The GP model is constructed on a selected set of samples instead of the whole dataset. These samples are selected by leveraging gradient information to maintain diversity and representation. We provide a theoretical analysis of the gradient-based sample selection strategy and obtain explicit sublinear regret bounds for our proposed framework. Extensive experiments on synthetic and real-world tasks demonstrate that our approach significantly reduces the computational cost of GP fitting in BO while maintaining optimization performance comparable to baseline methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google