Bayesian Optimization for Unknown Cost-Varying Variable Subsets with No-Regret Costs

要約

ベイジアン最適化 (BO) は、評価にコストがかかるブラック ボックス関数を最適化するために広く使用されている方法です。
従来の BO は、学習者が追加の制約なしですべてのクエリ変数を完全に制御できることを前提としています。
ただし、現実世界の多くのシナリオでは、特定のクエリ変数を制御するとコストが発生する可能性があります。
したがって、学習者は、コストを最小限に抑えるために一部の変数をランダムにサンプリングすることと、ターゲットを絞った学習のための有益なサブセットの選択のバランスを取る必要があります。
この問題は、コスト変動変数サブセットを使用したベイジアン最適化 (BOCVS) として知られています。
BOCVS の目標は、最小限のコストで最適なソリューションを特定することですが、これまでの研究では、発生する総コストを考慮せずに最適なソリューションを見つけることのみが保証されていました。
さらに、これらの作業は各​​サブセットのコストを正確に知っていることを前提としていますが、これは多くの場合非現実的です。
この論文では、プロセスを探索フェーズと活用フェーズに分離する、ランダムで未知のコストを伴う BOCVS 問題を拡張するための新しいアルゴリズムを提案します。
探索フェーズでは低品質の変数サブセットが除外され、活用フェーズでは高品質の変数サブセットが活用されます。
さらに、私たちのアルゴリズムが品質の後悔とコストの後悔の両方において線形未満の割合を達成し、以前の分析よりも効果的に BOCVS 問題の目的に対処していることを理論的に示しています。
最後に、私たちが提案したアルゴリズムが、幅広いベンチマークにわたって同等のベースラインを上回るパフォーマンスを示すことを示します。

要約(オリジナル)

Bayesian Optimization (BO) is a widely-used method for optimizing expensive-to-evaluate black-box functions. Traditional BO assumes that the learner has full control over all query variables without additional constraints. However, in many real-world scenarios, controlling certain query variables may incur costs. Therefore, the learner needs to balance the selection of informative subsets for targeted learning against leaving some variables to be randomly sampled to minimize costs. This problem is known as Bayesian Optimization with cost-varying variable subsets (BOCVS). While the goal of BOCVS is to identify the optimal solution with minimal cost, previous works have only guaranteed finding the optimal solution without considering the total costs incurred. Moreover, these works assume precise knowledge of the cost for each subset, which is often unrealistic. In this paper, we propose a novel algorithm for the extension of the BOCVS problem with random and unknown costs that separates the process into exploration and exploitation phases. The exploration phase will filter out low-quality variable subsets, while the exploitation phase will leverage high-quality ones. Furthermore, we theoretically demonstrate that our algorithm achieves a sub-linear rate in both quality regret and cost regret, addressing the objective of the BOCVS problem more effectively than previous analyses. Finally, we show that our proposed algorithm outperforms comparable baselines across a wide range of benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google