Pushing the Limits of the Reactive Affine Shaker Algorithm to Higher Dimensions

要約

連続変数の高価な関数の最小化のためのベイジアン最適化（BO）は、以前のサンプル（$ {\ boldsymbol x} _i $および$ f（{\ boldsymbol x} _i）$ values）から取得したすべての知識を使用して、ガウスプロセスに基づいてサロゲートモデルを構築します。
次に、サロゲートを悪用して、探索と搾取の慎重なバランスを介して、サンプルの次のポイントを定義します。
当初は低次元のスペースを対象としていたBOは最近変更され、非常に大きな次元スペース（最大約1000次元）にも使用されています。
この論文では、「Reactive Affine Shaker」（RAS）と呼ばれるはるかに単純なアルゴリズムを検討します。
次のサンプルは、平行堆積物（「ボックス」）内の均一な確率分布で常に生成されます。
各反復で、ボックスの形式は、ポイント$ \ boldsymbol x $の位置のみに基づいて、アフィン変換を通じて検索中に適合し、関数の改善に成功または失敗に基づいています。
したがって、関数値は、検索領域を変更し、次のサンプルを生成するために直接使用されません。
寸法全体が保持されます（アクティブな部分空間はありません）。
その極端なシンプルさと確率論的なローカル検索のみを使用しているにもかかわらず、驚くべきことに、生成された結果は、より多くの機能評価がありますが、BOの高次元バージョンの最先端の結果に匹敵し、それほど遠くありません。
Ablation研究と、RASの動作についてさらに理解し、最終結果のアルゴリズムビルディングブロックの相対的な重要性を評価するために、非常に大きな次元空間における方向の確率分布（ステップの改善と支配ボックスの向き）の分析が行われます。

要約(オリジナル)

Bayesian Optimization (BO) for the minimization of expensive functions of continuous variables uses all the knowledge acquired from previous samples (${\boldsymbol x}_i$ and $f({\boldsymbol x}_i)$ values) to build a surrogate model based on Gaussian processes. The surrogate is then exploited to define the next point to sample, through a careful balance of exploration and exploitation. Initially intended for low-dimensional spaces, BO has recently been modified and used also for very large-dimensional spaces (up to about one thousand dimensions). In this paper we consider a much simpler algorithm, called ‘Reactive Affine Shaker’ (RAS). The next sample is always generated with a uniform probability distribution inside a parallelepiped (the ‘box’). At each iteration, the form of the box is adapted during the search through an affine transformation, based only on the point $\boldsymbol x$ position and on the success or failure in improving the function. The function values are therefore not used directly to modify the search area and to generate the next sample. The entire dimensionality is kept (no active subspaces). Despite its extreme simplicity and its use of only stochastic local search, surprisingly the produced results are comparable to and not too far from the state-of-the-art results of high-dimensional versions of BO, although with some more function evaluations. An ablation study and an analysis of probability distribution of directions (improving steps and prevailing box orientation) in very large-dimensional spaces are conducted to understand more about the behavior of RAS and to assess the relative importance of the algorithmic building blocks for the final results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google