Asynchronous Batch Bayesian Optimization with Pipelining Evaluations for Experimental Resource$\unicode{x2013}$constrained Conditions

要約

ベイズ最適化はデータ量が少ない場合でも効率的であり、工学や生物学、化学などの科学で使用されています。
ベイジアン最適化では、実験データを説明するために不確実性を伴うパラメーター化されたモデルが適合され、そのモデルは結果を改善する可能性が最も高いパラメーターを提案します。
バッチ ベイジアン最適化では、実験を並列化することで最適化の処理時間を短縮します。
ただし、並列化された実験の数がコストまたは機器の不足によって制限されている場合、バッチ ベイジアン最適化は適用できません。
このような場合、逐次的な方法では非現実的な時間がかかります。
本研究では、限られた数の並列実験でも最適化の処理時間を短縮するために、パイプライン ベイジアン最適化 (PipeBO) を開発しました。
PipeBO は、計算タスクを複数のプロセスに分割する中央処理装置アーキテクチャのパイプライン化からインスピレーションを受けました。
PipeBO は、実験のさまざまなプロセスをオーバーラップさせることで実験の並列化を実現するように設計されました。
PipeBO は、完了した実験の結果を使用して、並列化された実験の実行パラメータを更新します。
24 のベンチマーク関数で構成されるブラックボックス最適化ベンチマークを使用して、PipeBO と逐次ベイジアン最適化手法を比較しました。
PipeBO は、2 つのプロセスで構成される実験の最適化の平均処理時間を約 56% に短縮し、24 関数のうち 20 のプロセスが多い実験ではさらに短縮しました。
全体として、PipeBO はリソースに制約のある設定でベイジアン最適化を並列化するため、効率的な最適化を実現できます。

要約(オリジナル)

Bayesian optimization is efficient even with a small amount of data and is used in engineering and in science, including biology and chemistry. In Bayesian optimization, a parameterized model with an uncertainty is fitted to explain the experimental data, and then the model suggests parameters that would most likely improve the results. Batch Bayesian optimization reduces the processing time of optimization by parallelizing experiments. However, batch Bayesian optimization cannot be applied if the number of parallelized experiments is limited by the cost or scarcity of equipment; in such cases, sequential methods require an unrealistic amount of time. In this study, we developed pipelining Bayesian optimization (PipeBO) to reduce the processing time of optimization even with a limited number of parallel experiments. PipeBO was inspired by the pipelining of central processing unit architecture, which divides computational tasks into multiple processes. PipeBO was designed to achieve experiment parallelization by overlapping various processes of the experiments. PipeBO uses the results of completed experiments to update the parameters of running parallelized experiments. Using the Black-Box Optimization Benchmarking, which consists of 24 benchmark functions, we compared PipeBO with the sequential Bayesian optimization methods. PipeBO reduced the average processing time of optimization to about 56% for the experiments that consisted of two processes or even less for those with more processes for 20 out of the 24 functions. Overall, PipeBO parallelizes Bayesian optimization in the resource-constrained settings so that efficient optimization can be achieved.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google