Self-Correcting Bayesian Optimization through Bayesian Active Learning

要約

ガウス プロセスは、ベイズ最適化とアクティブ ラーニングで選択されるモデルです。
しかし、その可能性を最大限に発揮するには、賢く選択されたハイパーパラメータに大きく依存しており、文献の中から適切なハイパーパラメータを見つけることにはほとんど努力が払われていません。
GP に適切なハイパーパラメータを選択することの影響を示し、ハイパーパラメータ学習を明示的に優先する 2 つの取得関数を示します。
統計的距離ベースのアクティブ ラーニング (SAL) では、統計的距離によって測定される事後からのサンプル間の平均不一致が考慮されます。
SAL は、いくつかのテスト関数において、最先端のベイジアン アクティブ ラーニングを上回ります。
次に、SAL を拡張してベイズ最適化とアクティブ ラーニングを同時に実行する自己修正ベイズ最適化 (SCoreBO) を紹介します。
SCoreBO は、バニラ BO と比較して向上したレートでモデルのハイパーパラメーターを学習し、従来のベンチマークでは最新のベイジアン最適化手法を上回るパフォーマンスを発揮します。
さらに、非典型的なベイズ最適化タスクに対する自己修正の重要性を示します。

要約(オリジナル)

Gaussian processes are the model of choice in Bayesian optimization and active learning. Yet, they are highly dependent on cleverly chosen hyperparameters to reach their full potential, and little effort is devoted to finding good hyperparameters in the literature. We demonstrate the impact of selecting good hyperparameters for GPs and present two acquisition functions that explicitly prioritize hyperparameter learning. Statistical distance-based Active Learning (SAL) considers the average disagreement between samples from the posterior, as measured by a statistical distance. SAL outperforms the state-of-the-art in Bayesian active learning on several test functions. We then introduce Self-Correcting Bayesian Optimization (SCoreBO), which extends SAL to perform Bayesian optimization and active learning simultaneously. SCoreBO learns the model hyperparameters at improved rates compared to vanilla BO, while outperforming the latest Bayesian optimization methods on traditional benchmarks. Moreover, we demonstrate the importance of self-correction on atypical Bayesian optimization tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google