Leveraging Axis-Aligned Subspaces for High-Dimensional Bayesian Optimization with Group Testing

要約

Bayesian Optimization（BO）は、高価な断というブラックボックス関数を最適化するための効果的な方法です。
多数のパラメーターの選択肢とモデルに適合するために必要なデータポイントの潜在的に多くのデータポイントが多数あるため、高次元の問題は特に困難ですが、問題が仮定を単純化する場合、この制限に対処できます。
軸に合わせた部分空間アプローチは、目的に大きな影響を与えるディメンションがほとんどないため、高次元BOの動機付けのいくつかのアルゴリズムがあります。
ただし、この仮定の妥当性はめったに検証されず、その仮定がその完全な範囲で悪用されることはめったにありません。
これらのドメインでの効率的な最適化を促進するためのアクティブ変数を識別するためのグループテスト（GT）アプローチを提案します。
提案されたアルゴリズムであるベイジアン最適化（GTBO）のグループテストは、最初に、変数のグループが体系的に選択され、目的に影響を与えるかどうかについてテストされ、アクティブな寸法が特定されると終了するテストフェーズを実行します。
そのために、確立されたGT理論を連続ドメイン上の関数に拡張します。
第2フェーズでは、GTBOはアクティブな寸法をより重要にすることにより、最適化をガイドします。
軸に並べられた部分空間仮定を活用することにより、GTBOは、軸に合わせたサブスペースの仮定を満たすベンチマーク上の最先端のメソッドを上回り、解釈可能性を向上させます。

要約(オリジナル)

Bayesian optimization (BO ) is an effective method for optimizing expensive-to-evaluate black-box functions. While high-dimensional problems can be particularly challenging, due to the multitude of parameter choices and the potentially high number of data points required to fit the model, this limitation can be addressed if the problem satisfies simplifying assumptions. Axis-aligned subspace approaches, where few dimensions have a significant impact on the objective, motivated several algorithms for high-dimensional BO . However, the validity of this assumption is rarely verified, and the assumption is rarely exploited to its full extent. We propose a group testing ( GT) approach to identify active variables to facilitate efficient optimization in these domains. The proposed algorithm, Group Testing Bayesian Optimization (GTBO), first runs a testing phase where groups of variables are systematically selected and tested on whether they influence the objective, then terminates once active dimensions are identified. To that end, we extend the well-established GT theory to functions over continuous domains. In the second phase, GTBO guides optimization by placing more importance on the active dimensions. By leveraging the axis-aligned subspace assumption, GTBO outperforms state-of-the-art methods on benchmarks satisfying the assumption of axis-aligned subspaces, while offering improved interpretability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google