Targeted Variance Reduction: Robust Bayesian Optimization of Black-Box Simulators with Noise Parameters

要約

制御パラメータ $\mathbf{x}$ に対するブラックボックス シミュレータの最適化は、無数の科学的アプリケーションで発生します。
このようなアプリケーションでは、シミュレーターは $f(\mathbf{x},\boldsymbol{\theta})$ の形式をとることがよくあります。$\boldsymbol{\theta}$ は実際には不確実なパラメーターです。
堅牢な最適化は、目標 $\mathbb{E}[f(\mathbf{x},\boldsymbol{\Theta})]$ を最適化することを目的としています。ここで、$\boldsymbol{\Theta} \sim \mathcal{P}$ は、
$\boldsymbol{\theta}$ の不確実性をモデル化する確率変数。
このため、既存のブラックボックス手法は通常、次の点 $(\mathbf{x},\boldsymbol{\theta})$ を選択するために 2 段階のアプローチを採用しています。ここで、$\mathbf{x}$ と $\boldsymbol{
\theta}$ は、さまざまな取得関数によって個別に最適化されます。
そのため、これらのアプローチは $(\mathbf{x},\boldsymbol{\theta})$ に対する共同取得を採用していないため、効果的なロバストな最適化のために制御とノイズの相互作用を完全に活用できない可能性があります。
これに対処するために、我々は Targeted Variance Reduction (TVR) と呼ばれる新しいベイジアン最適化手法を提案します。
TVR は、$(\mathbf{x},\boldsymbol{\theta})$ に対する新しい共同取得関数を活用し、改善が望まれる領域内で目標の分散を削減することを目標としています。
$f$ のガウス過程サロゲートの下では、TVR の取得を閉じた形式で評価でき、堅牢なブラック ボックス最適化のための洞察力に富んだ探索、活用、精度のトレードオフが明らかになります。
TVR は、正規化フローを注意深く統合することにより、$\mathcal{P}$ 上の広範なクラスの非ガウス分布にさらに対応できます。
私たちは、一連の数値実験と、動作の不確実性の下での自動車ブレーキディスクの堅牢な設計への応用において、最先端技術を上回る TVR の性能の向上を実証します。

要約(オリジナル)

The optimization of a black-box simulator over control parameters $\mathbf{x}$ arises in a myriad of scientific applications. In such applications, the simulator often takes the form $f(\mathbf{x},\boldsymbol{\theta})$, where $\boldsymbol{\theta}$ are parameters that are uncertain in practice. Robust optimization aims to optimize the objective $\mathbb{E}[f(\mathbf{x},\boldsymbol{\Theta})]$, where $\boldsymbol{\Theta} \sim \mathcal{P}$ is a random variable that models uncertainty on $\boldsymbol{\theta}$. For this, existing black-box methods typically employ a two-stage approach for selecting the next point $(\mathbf{x},\boldsymbol{\theta})$, where $\mathbf{x}$ and $\boldsymbol{\theta}$ are optimized separately via different acquisition functions. As such, these approaches do not employ a joint acquisition over $(\mathbf{x},\boldsymbol{\theta})$, and thus may fail to fully exploit control-to-noise interactions for effective robust optimization. To address this, we propose a new Bayesian optimization method called Targeted Variance Reduction (TVR). The TVR leverages a novel joint acquisition function over $(\mathbf{x},\boldsymbol{\theta})$, which targets variance reduction on the objective within the desired region of improvement. Under a Gaussian process surrogate on $f$, the TVR acquisition can be evaluated in closed form, and reveals an insightful exploration-exploitation-precision trade-off for robust black-box optimization. The TVR can further accommodate a broad class of non-Gaussian distributions on $\mathcal{P}$ via a careful integration of normalizing flows. We demonstrate the improved performance of TVR over the state-of-the-art in a suite of numerical experiments and an application to the robust design of automobile brake discs under operational uncertainty.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google