Bayesian Optimization of Expensive Nested Grey-Box Functions

要約

グレーボックス目的関数、つまりブラックボックス関数とホワイトボックス関数の両方で構成される入れ子関数を最適化する問題を検討します。
このようなグレーボックス問題に対する一般的な定式化が与えられ、これは特殊なケースとして既存のグレーボックス最適化定式化をカバーします。
次に、それを解決するための楽観主義主導のアルゴリズムを設計します。
特定の規則性の仮定の下では、私たちのアルゴリズムは、考慮される関数のリプシッツ定数に応じた定数乗算項まで、標準的なブラックボックス ベイジアン最適化アルゴリズムの場合と同様のリグレス限界を達成します。
さらに、この方法を制約のあるケースに拡張し、特殊なケースについて説明します。
一般的に使用されるカーネル関数の場合、リグレス限界を使用すると、最適解への収束率を導き出すことができます。
実験結果は、標準のブラックボックス最適化アルゴリズムと比較して、私たちのグレーボックス最適化手法が全体的な最適解を見つける速度を経験的に大幅に向上させることを示しています。

要約(オリジナル)

We consider the problem of optimizing a grey-box objective function, i.e., nested function composed of both black-box and white-box functions. A general formulation for such grey-box problems is given, which covers the existing grey-box optimization formulations as special cases. We then design an optimism-driven algorithm to solve it. Under certain regularity assumptions, our algorithm achieves similar regret bound as that for the standard black-box Bayesian optimization algorithm, up to a constant multiplicative term depending on the Lipschitz constants of the functions considered. We further extend our method to the constrained case and discuss special cases. For the commonly used kernel functions, the regret bounds allow us to derive a convergence rate to the optimal solution. Experimental results show that our grey-box optimization method empirically improves the speed of finding the global optimal solution significantly, as compared to the standard black-box optimization algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google