HyperBO+: Pre-training a universal prior for Bayesian optimization with hierarchical Gaussian processes

要約

ベイジアン最適化 (BO) は、多くのブラックボックス関数最適化タスクに対して非常に効果的であることが証明されていますが、実務者は対象となる関数を適切にモデル化する事前分布を慎重に選択する必要があります。
研究者らは、手動で指定するのではなく、事前分布を自動的に学習する転移学習ベースの方法を研究してきました。
マルチタスクBO (Swersky et al., 2013)、少数ショットBO (Wistuba and Grabocka, 2021)、およびHyperBO (Wang et al., 2022)。
ただし、これらの以前の学習方法は通常、入力ドメインがすべてのタスクで同じであると想定しているため、異なるドメインの関数の観測値を使用したり、学習した事前学習を異なる検索空間で BO に一般化したりする能力が弱くなっています。
この研究では、階層ガウス プロセスの事前トレーニング アプローチである HyperBO+ を紹介します。これにより、異なるドメインの関数に対するベイズ最適化を普遍的に実行する前に同じことが可能になります。
我々は、2 ステップの事前トレーニング方法を提案し、その魅力的な漸近特性と BO への利点を理論的および経験的に分析します。
複数の検索スペースを伴う実際のハイパーパラメータ調整タスクでは、HyperBO+ が目に見えない検索スペースに一般化でき、競合ベースラインよりも低い後悔を実現できることを実証しました。

要約(オリジナル)

Bayesian optimization (BO), while proved highly effective for many black-box function optimization tasks, requires practitioners to carefully select priors that well model their functions of interest. Rather than specifying by hand, researchers have investigated transfer learning based methods to automatically learn the priors, e.g. multi-task BO (Swersky et al., 2013), few-shot BO (Wistuba and Grabocka, 2021) and HyperBO (Wang et al., 2022). However, those prior learning methods typically assume that the input domains are the same for all tasks, weakening their ability to use observations on functions with different domains or generalize the learned priors to BO on different search spaces. In this work, we present HyperBO+: a pre-training approach for hierarchical Gaussian processes that enables the same prior to work universally for Bayesian optimization on functions with different domains. We propose a two-step pre-training method and analyze its appealing asymptotic properties and benefits to BO both theoretically and empirically. On real-world hyperparameter tuning tasks that involve multiple search spaces, we demonstrate that HyperBO+ is able to generalize to unseen search spaces and achieves lower regrets than competitive baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google