Scalable Bayesian optimization with high-dimensional outputs using randomized prior networks

要約

科学と工学におけるいくつかの基本的な問題は、一連の制御可能な変数を費用のかかる実験の結果にマッピングする、未知の高次元 (ブラック ボックス) 関数を含むグローバルな最適化タスクで構成されています。
ベイジアン最適化 (BO) 手法は、比較的少数の目的関数評価を使用してグローバル最適化問題に取り組むのに効果的であることが知られていますが、高次元の出力を処理する場合はパフォーマンスが低下します。
次元性の大きな課題を克服するために、ここでは、ランダム化された事前確率を持つニューラル アーキテクチャのブートストラップ アンサンブルに基づく、BO と順次意思決定のためのディープ ラーニング フレームワークを提案します。
適切なアーキテクチャの選択を使用して、提案されたフレームワークが、設計変数と関心のある量の間の機能的関係を概算できることを示します。後者が高次元ベクトル空間または無限次元の関数空間で値を取る場合でもです。
BO のコンテキストでは、提案された確率的サロゲートを、マルチポイント (並列) 取得関数の再パラメーター化されたモンテカルロ近似と、ブラック ボックスの制約とマルチフィデリティ情報源に対応するための方法論的拡張によって強化しました。
提案されたフレームワークを BO の最先端の方法に対してテストし、ターボ機械のローター ブレードの形状最適化を含む制約付き最適化タスクを含む、高次元の出力を伴ういくつかの困難なタスクにわたって優れたパフォーマンスを実証します。

要約(オリジナル)

Several fundamental problems in science and engineering consist of global optimization tasks involving unknown high-dimensional (black-box) functions that map a set of controllable variables to the outcomes of an expensive experiment. Bayesian Optimization (BO) techniques are known to be effective in tackling global optimization problems using a relatively small number objective function evaluations, but their performance suffers when dealing with high-dimensional outputs. To overcome the major challenge of dimensionality, here we propose a deep learning framework for BO and sequential decision making based on bootstrapped ensembles of neural architectures with randomized priors. Using appropriate architecture choices, we show that the proposed framework can approximate functional relationships between design variables and quantities of interest, even in cases where the latter take values in high-dimensional vector spaces or even infinite-dimensional function spaces. In the context of BO, we augmented the proposed probabilistic surrogates with re-parameterized Monte Carlo approximations of multiple-point (parallel) acquisition functions, as well as methodological extensions for accommodating black-box constraints and multi-fidelity information sources. We test the proposed framework against state-of-the-art methods for BO and demonstrate superior performance across several challenging tasks with high-dimensional outputs, including a constrained optimization task involving shape optimization of rotor blades in turbo-machinery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google