Scalable Bayesian optimization with high-dimensional outputs using randomized prior networks

要約

科学や工学におけるいくつかの基本的な問題は、制御可能な変数の集合を高価な実験の結果に対応付ける未知の高次元（ブラックボックス）関数を含むグローバルな最適化タスクで構成されています。ベイズ最適化（BO）技術は、比較的少ない数の目的関数評価で大域的最適化問題に取り組むのに有効であることが知られているが、高次元の出力を扱う場合には、その性能は低下する。次元という大きな課題を克服するために、本論文では、ランダム化プリオールを持つ神経アーキテクチャのブートストラップされたアンサンブルに基づく、BOと逐次意思決定のための深層学習フレームワークを提案する。適切なアーキテクチャを選択することで、設計変数が高次元のベクトル空間や無限次元の関数空間の値をとる場合でも、提案するフレームワークが設計変数と関心量の間の関数関係を近似することができることを示しています。BOの文脈では、提案する確率的サロゲートを、多点（並列）獲得関数の再パラメータ化モンテカルロ近似、およびブラックボックス制約と多忠実度情報源に対応する方法論の拡張で補強した。提案したフレームワークを最新のBO手法と比較し、ターボ機械の回転翼の形状最適化を含む、高次元の出力を持ついくつかの困難なタスクにおいて優れた性能を実証する。

要約(オリジナル)

Several fundamental problems in science and engineering consist of global optimization tasks involving unknown high-dimensional (black-box) functions that map a set of controllable variables to the outcomes of an expensive experiment. Bayesian Optimization (BO) techniques are known to be effective in tackling global optimization problems using a relatively small number objective function evaluations, but their performance suffers when dealing with high-dimensional outputs. To overcome the major challenge of dimensionality, here we propose a deep learning framework for BO and sequential decision making based on bootstrapped ensembles of neural architectures with randomized priors. Using appropriate architecture choices, we show that the proposed framework can approximate functional relationships between design variables and quantities of interest, even in cases where the latter take values in high-dimensional vector spaces or even infinite-dimensional function spaces. In the context of BO, we augmented the proposed probabilistic surrogates with re-parameterized Monte Carlo approximations of multiple-point (parallel) acquisition functions, as well as methodological extensions for accommodating black-box constraints and multi-fidelity information sources. We test the proposed framework against state-of-the-art methods for BO and demonstrate superior performance across several challenging tasks with high-dimensional outputs, including a constrained multi-fidelity optimization task involving shape optimization of rotor blades in turbo-machinery.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL