Relaxing the Additivity Constraints in Decentralized No-Regret High-Dimensional Bayesian Optimization

要約

ベイジアン最適化 (BO) は通常、各最適化ステップで最大化する必要がある取得関数を利用することで、ノイズが多く評価コストがかかる未知の関数 $f$ を最適化するために使用されます。
漸近的に最適な BO アルゴリズムが低次元関数の最適化に効率的であることが証明されたとしても、関数を高次元空間にスケーリングすることは未解決の問題のままであり、$f$ の加法構造を仮定することで解決されることがよくあります。
そうすることで、BO アルゴリズムは通常、追加の構造に制限的な仮定を追加し、適用範囲を狭めます。
この論文には 2 つの主な貢献が含まれています: (i) 取得関数の最大化保証を弱めることなく、$f$ の加法構造に関する制限的な仮定を緩和します。(ii) 分散型 BO アルゴリズムの過剰探索問題に対処します。
これらの目的のために、我々は、特に $f$ の加法構造が高次元の因子を含む場合に、最先端の BO アルゴリズムに対して非常に競争力のあるパフォーマンスを達成する、漸近的に最適な分散 BO アルゴリズムである DuMBO を提案します。

要約(オリジナル)

Bayesian Optimization (BO) is typically used to optimize an unknown function $f$ that is noisy and costly to evaluate, by exploiting an acquisition function that must be maximized at each optimization step. Even if provably asymptotically optimal BO algorithms are efficient at optimizing low-dimensional functions, scaling them to high-dimensional spaces remains an open problem, often tackled by assuming an additive structure for $f$. By doing so, BO algorithms typically introduce additional restrictive assumptions on the additive structure that reduce their applicability domain. This paper contains two main contributions: (i) we relax the restrictive assumptions on the additive structure of $f$ without weakening the maximization guarantees of the acquisition function, and (ii) we address the over-exploration problem for decentralized BO algorithms. To these ends, we propose DuMBO, an asymptotically optimal decentralized BO algorithm that achieves very competitive performance against state-of-the-art BO algorithms, especially when the additive structure of $f$ comprises high-dimensional factors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google