Beyond Lengthscales: No-regret Bayesian Optimisation With Unknown Hyperparameters Of Any Type

要約

ベイジアン最適化にはガウス過程モデルのフィッティングが必要であり、そのためにはハイパーパラメータの指定が必要です。理論文献のほとんどは、それらのハイパーパラメータが既知であることを前提としています。
ガウス過程のハイパーパラメータに一般的に使用される最尤推定量は、データが空間を均一に埋める場合にのみ一貫性を持ちますが、ベイジアン最適化では必ずしもそうである必要はありません。
ハイパーパラメータ推定の正確さに関して保証はなく、それらのハイパーパラメータはガウス プロセス フィットに大きな影響を与える可能性があるため、未知のハイパーパラメータを使用したベイジアン最適化の理論的解析は非常に困難です。
以前に提案された no-regret 特性を持つアルゴリズムは、カーネル ヒルベルト空間ノルムを再現し、頻度主義の場合にのみ適用される、未知の長さスケールの特殊なケースのみを処理することができました。
我々は、新しいアルゴリズム HE-GP-UCB を提案します。これは、任意の形式の未知のハイパーパラメータの場合に後悔のない特性を享受する最初のアルゴリズムであり、ベイジアン設定と頻度主義設定の両方をサポートします。
私たちの証明のアイデアは斬新で、ベイズ最適化の他のバリエーションにも簡単に拡張できます。
これを、未知のハイパーパラメータの下でアルゴリズムを敵対的にロバストな最適化設定に拡張することによって示します。
最後に、一連のおもちゃの問題でアルゴリズムを経験的に評価し、それが最尤推定器よりも優れたパフォーマンスを発揮できることを示します。

要約(オリジナル)

Bayesian optimisation requires fitting a Gaussian process model, which in turn requires specifying hyperparameters – most of the theoretical literature assumes those hyperparameters are known. The commonly used maximum likelihood estimator for hyperparameters of the Gaussian process is consistent only if the data fills the space uniformly, which does not have to be the case in Bayesian optimisation. Since no guarantees exist regarding the correctness of hyperparameter estimation, and those hyperparameters can significantly affect the Gaussian process fit, theoretical analysis of Bayesian optimisation with unknown hyperparameters is very challenging. Previously proposed algorithms with the no-regret property were only able to handle the special case of unknown lengthscales, reproducing kernel Hilbert space norm and applied only to the frequentist case. We propose a novel algorithm, HE-GP-UCB, which is the first algorithm enjoying the no-regret property in the case of unknown hyperparameters of arbitrary form, and which supports both Bayesian and frequentist settings. Our proof idea is novel and can easily be extended to other variants of Bayesian optimisation. We show this by extending our algorithm to the adversarially robust optimisation setting under unknown hyperparameters. Finally, we empirically evaluate our algorithm on a set of toy problems and show that it can outperform the maximum likelihood estimator.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google