Computationally Efficient High-Dimensional Bayesian Optimization via Variable Selection

要約

ベイジアン最適化 (BO) は、ブラックボックス関数をグローバルに最適化する方法です。
BO は多くのシナリオに適用されて成功していますが、高次元ドメインの機能に合わせて拡張できる効果的な BO アルゴリズムを開発することは依然として課題です。
バニラ BO でこのような機能を最適化するのは非常に時間がかかります。
高次元の空間を低次元の空間に埋め込むというアイデアに基づいた高次元 BO の代替戦略は、事前に指定する必要がある埋め込み次元の選択に敏感です。
変数選択を利用した新しい計算効率の高い高次元 BO 手法を開発します。
私たちの方法は、事前に指定されたハイパーパラメータを必要とせずに、軸に合わせたサブ空間、つまり選択された変数を含む空間を自動的に学習できます。
私たちはアルゴリズムの計算の複雑さを理論的に分析し、リグレス限界を導き出します。
私たちは、いくつかの合成問題と現実の問題に対するこの方法の有効性を経験的に示します。

要約(オリジナル)

Bayesian Optimization (BO) is a method for globally optimizing black-box functions. While BO has been successfully applied to many scenarios, developing effective BO algorithms that scale to functions with high-dimensional domains is still a challenge. Optimizing such functions by vanilla BO is extremely time-consuming. Alternative strategies for high-dimensional BO that are based on the idea of embedding the high-dimensional space to the one with low dimension are sensitive to the choice of the embedding dimension, which needs to be pre-specified. We develop a new computationally efficient high-dimensional BO method that exploits variable selection. Our method is able to automatically learn axis-aligned sub-spaces, i.e. spaces containing selected variables, without the demand of any pre-specified hyperparameters. We theoretically analyze the computational complexity of our algorithm and derive the regret bound. We empirically show the efficacy of our method on several synthetic and real problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google