Scalable Bayesian optimization with high-dimensional outputs using randomized prior networks

要約

科学および工学におけるいくつかの基本的な問題は、制御可能な変数のセットを高価な実験の結果にマッピングする未知の高次元 (ブラック ボックス) 関数を含む全体的な最適化タスクで構成されます。
ベイジアン最適化 (BO) 手法は、比較的少数の目的関数評価を使用して大域最適化問題に取り組む場合に効果的であることが知られていますが、高次元の出力を処理する場合にはパフォーマンスが低下します。
次元性という大きな課題を克服するために、ここでは、ランダム化された事前確率を備えたニューラル アーキテクチャのブートストラップ アンサンブルに基づく、BO および逐次的意思決定のための深層学習フレームワークを提案します。
適切なアーキテクチャの選択を使用して、提案されたフレームワークが、設計変数と対象量の間の関数関係を近似できることを示します。これは、後者が高次元ベクトル空間または無限次元関数空間の値を取る場合でも同様です。
BO のコンテキストでは、提案された確率的サロゲートを、複数点 (並列) 取得関数の再パラメータ化されたモンテカルロ近似と、ブラック ボックス制約および複数忠実度の情報ソースに対応するための方法論的拡張で強化しました。
提案されたフレームワークを BO の最先端の方法と比較してテストし、ターボ機械のローター ブレードの形状最適化を伴う制約付きマルチ忠実最適化タスクなど、高次元の出力を伴ういくつかの困難なタスクにわたって優れたパフォーマンスを実証します。

要約(オリジナル)

Several fundamental problems in science and engineering consist of global optimization tasks involving unknown high-dimensional (black-box) functions that map a set of controllable variables to the outcomes of an expensive experiment. Bayesian Optimization (BO) techniques are known to be effective in tackling global optimization problems using a relatively small number objective function evaluations, but their performance suffers when dealing with high-dimensional outputs. To overcome the major challenge of dimensionality, here we propose a deep learning framework for BO and sequential decision making based on bootstrapped ensembles of neural architectures with randomized priors. Using appropriate architecture choices, we show that the proposed framework can approximate functional relationships between design variables and quantities of interest, even in cases where the latter take values in high-dimensional vector spaces or even infinite-dimensional function spaces. In the context of BO, we augmented the proposed probabilistic surrogates with re-parameterized Monte Carlo approximations of multiple-point (parallel) acquisition functions, as well as methodological extensions for accommodating black-box constraints and multi-fidelity information sources. We test the proposed framework against state-of-the-art methods for BO and demonstrate superior performance across several challenging tasks with high-dimensional outputs, including a constrained multi-fidelity optimization task involving shape optimization of rotor blades in turbo-machinery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google