Bayesian Optimization for Non-Convex Two-Stage Stochastic Optimization Problems

要約

ベイジアン最適化は、高価なブラックボックス最適化問題を解決するためのサンプル効率の高い方法です。
確率的プログラミングは不確実性の下での最適化に関係しており、通常は平均パフォーマンスが関心のある量です。
2 段階の問題の第 1 段階では、この不確実性に直面して今ここで決定を下さなければなりませんが、第 2 段階では、不確実性が解決された後に様子見の決定が下されます。
確率的プログラミングの多くの手法は、目的が評価コストが低く、線形または凸であることを前提としています。
この研究では、ベイジアン最適化を適用して、評価にコストがかかる非凸の 2 段階の確率的プログラムを解決します。
知識勾配ベースの取得関数を定式化して、第 1 段階と第 2 段階の変数を共同で最適化し、漸近的一貫性の保証を確立し、計算効率の高い近似を提供します。
私たちは、2 つの変数タイプの間で焦点を交互に切り替える、私たちが策定した代替案と同等の経験的結果と、標準的で単純な 2 ステップのベンチマークよりも優れた経験的結果を実証します。
変数タイプ間の寸法と長さのスケールの違いが 2 ステップ アルゴリズムの非効率につながる可能性がある一方で、結合および交互取得関数はテストされたすべての問題で良好に機能することを示します。
実験は合成例と実際の例の両方で行われます。

要約(オリジナル)

Bayesian optimization is a sample-efficient method for solving expensive, black-box optimization problems. Stochastic programming concerns optimization under uncertainty where, typically, average performance is the quantity of interest. In the first stage of a two-stage problem, here-and-now decisions must be made in the face of this uncertainty, while in the second stage, wait-and-see decisions are made after the uncertainty has been resolved. Many methods in stochastic programming assume that the objective is cheap to evaluate and linear or convex. In this work, we apply Bayesian optimization to solve non-convex, two-stage stochastic programs which are expensive to evaluate. We formulate a knowledge-gradient-based acquisition function to jointly optimize the first- and second-stage variables, establish a guarantee of asymptotic consistency and provide a computationally efficient approximation. We demonstrate comparable empirical results to an alternative we formulate which alternates its focus between the two variable types, and superior empirical results over the standard, naive, two-step benchmark. We show that differences in the dimension and length scales between the variable types can lead to inefficiencies of the two-step algorithm, while the joint and alternating acquisition functions perform well in all problems tested. Experiments are conducted on both synthetic and real-world examples.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google