Data-driven Prior Learning for Bayesian Optimisation

要約

ベイジアン最適化のための転移学習は一般に、最適化タスク間に強い類似性があり、少なくともサブセットが同様の最適な入力を持つことを前提としています。
この仮定は計算コストを削減できますが、それでも転移学習が役立つ可能性がある広範囲の最適化問題ではこの仮定に違反します。
この仮定を、最適化ランドスケープの形状が類似していることのみを必要とする弱い仮定に置き換え、この設定で最近の手法ベイズ最適化のための事前学習 – PLeBO – を分析します。
ガウス過程代理モデルのハイパーパラメータの事前分布を学習することにより、特に少数の関数評価の場合に、基礎となる関数をより適切に近似することができます。
学習した事前分布を検証し、合成データと最近の大気汚染最適化問題をベンチマークとして使用して、幅広い転移学習アプローチと比較します。
PLeBO と以前の移転では、より少ない評価で適切なインプットが得られることが示されています。

要約(オリジナル)

Transfer learning for Bayesian optimisation has generally assumed a strong similarity between optimisation tasks, with at least a subset having similar optimal inputs. This assumption can reduce computational costs, but it is violated in a wide range of optimisation problems where transfer learning may nonetheless be useful. We replace this assumption with a weaker one only requiring the shape of the optimisation landscape to be similar, and analyse the recent method Prior Learning for Bayesian Optimisation – PLeBO – in this setting. By learning priors for the hyperparameters of the Gaussian process surrogate model we can better approximate the underlying function, especially for few function evaluations. We validate the learned priors and compare to a breadth of transfer learning approaches, using synthetic data and a recent air pollution optimisation problem as benchmarks. We show that PLeBO and prior transfer find good inputs in fewer evaluations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google