Pessimistic asynchronous sampling in high-cost Bayesian optimization

要約

非同期ベイジアン最適化は、実験システムとばらばらのワークフローの並列操作を可能にする最近実装された手法です。
各実験の測定を実行した後に実験を 1 つずつ個別に選択するシリアル ベイジアン最適化とは対照的に、非同期ポリシーでは、測定を行う前に複数の実験を順次割り当て、新しい測定値が利用可能になると継続的に評価します。
この手法により、より高速なデータ生成が可能になり、実験空間のより高速な最適化が可能になります。
この研究では、トレーニング データ セットに悲観的な予測を組み込んだ 4 つの追加ポリシーを評価することで、非同期最適化手法の機能を以前の研究を超えて拡張しています。
モデル予測を使用する従来のポリシーと組み合わせて、合計 5 つのポリシーがシミュレートされた環境で評価され、シリアル サンプリングでベンチマークが行われました。
一部の条件およびパラメーター空間次元の下では、悲観的予測非同期ポリシーは、同等のシリアル ポリシーよりも大幅に少ない実験で最適な実験条件に到達し、高次元での局所最適への収束の影響を受けにくいことが証明されました。
より高速なサンプリング レートを考慮に入れなければ、この研究で提示された悲観的な非同期アルゴリズムは、高コストの実験空間のより効率的なアルゴリズム駆動の最適化をもたらす可能性があります。
サンプリング レートを考慮すると、提示された非同期アルゴリズムにより、結果が収集される前に複数の実験を実行できる実験空間でのより迅速な最適化が可能になります。

要約(オリジナル)

Asynchronous Bayesian optimization is a recently implemented technique that allows for parallel operation of experimental systems and disjointed workflows. Contrasting with serial Bayesian optimization which individually selects experiments one at a time after conducting a measurement for each experiment, asynchronous policies sequentially assign multiple experiments before measurements can be taken and evaluate new measurements continuously as they are made available. This technique allows for faster data generation and therefore faster optimization of an experimental space. This work extends the capabilities of asynchronous optimization methods beyond prior studies by evaluating four additional policies that incorporate pessimistic predictions in the training data set. Combined with a conventional policy that uses model predictions, the five total policies were evaluated in a simulated environment and benchmarked with serial sampling. Under some conditions and parameter space dimensionalities, the pessimistic prediction asynchronous policy reached optimum experimental conditions in significantly fewer experiments than equivalent serial policies and proved to be less susceptible to convergence onto local optima at higher dimensions. Without accounting for the faster sampling rate, the pessimistic asynchronous algorithm presented in this work could result in more efficient algorithm driven optimization of high-cost experimental spaces. Accounting for sampling rate, the presented asynchronous algorithm could allow for faster optimization in experimental spaces where multiple experiments can be run before results are collected.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google