Beyond Lengthscales: No-regret Bayesian Optimisation With Unknown Hyperparameters Of Any Type

要約

ベイズ最適化では、ガウス過程モデルを当てはめる必要があり、そのためにはハイパーパラメータを指定する必要がある。一般的に使用されているガウス過程のハイパーパラメータに対する最尤推定量は、データが空間を一様に満たしている場合にのみ整合性がとれますが、ベイズ最適化ではそうである必要はありません。ハイパーパラメータ推定の正しさは保証されておらず、ハイパーパラメータはガウス過程の適合に大きな影響を与える可能性があるため、未知のハイパーパラメータを用いたベイズ最適化の理論解析は非常に困難である。これまでに提案されてきた後悔のないアルゴリズムは、未知の長さスケールの特殊なケースにしか対応できず、カーネル・ヒルベルト空間ノルムを再現し、頻度論的なケースにしか適用できなかった。HE-GP-UCBは、任意の形式の未知のハイパーパラメータの場合に、ベイズと頻度論の両方の設定をサポートする、後悔なし特性を享受する最初のアルゴリズムである。我々の証明の考え方は斬新であり、ベイズ最適化の他のバリエーションにも容易に拡張できる。未知のハイパーパラメータの下で、我々のアルゴリズムを敵対的に頑健な最適化設定に拡張することで、このことを示す。最後に、一連のおもちゃの問題に対して我々のアルゴリズムを経験的に評価し、最尤推定量を上回ることができることを示す。

要約(オリジナル)

Bayesian optimisation requires fitting a Gaussian process model, which in turn requires specifying hyperparameters – most of the theoretical literature assumes those hyperparameters are known. The commonly used maximum likelihood estimator for hyperparameters of the Gaussian process is consistent only if the data fills the space uniformly, which does not have to be the case in Bayesian optimisation. Since no guarantees exist regarding the correctness of hyperparameter estimation, and those hyperparameters can significantly affect the Gaussian process fit, theoretical analysis of Bayesian optimisation with unknown hyperparameters is very challenging. Previously proposed algorithms with the no-regret property were only able to handle the special case of unknown lengthscales, reproducing kernel Hilbert space norm and applied only to the frequentist case. We propose a novel algorithm, HE-GP-UCB, which is the first algorithm enjoying the no-regret property in the case of unknown hyperparameters of arbitrary form, and which supports both Bayesian and frequentist settings. Our proof idea is novel and can easily be extended to other variants of Bayesian optimisation. We show this by extending our algorithm to the adversarially robust optimisation setting under unknown hyperparameters. Finally, we empirically evaluate our algorithm on a set of toy problems and show that it can outperform the maximum likelihood estimator.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL