A Deep Dive into Effects of Structural Bias on CMA-ES Performance along Affine Trajectories

要約

より優れた反復最適化ヒューリスティックの設計を導くためには、アルゴリズム コンポーネント内に固有の構造的バイアスが、さまざまな検索環境のパフォーマンスにどのような影響を与えるかを理解することが不可欠です。
この研究では、アルゴリズム内のさまざまなモジュールの役割に焦点を当て、モジュラー共分散行列適応進化戦略 (modCMA) における構造バイアスの影響を調査します。
modCMA の 435,456 構成を含む広範な調査を通じて、さまざまなクラスの構造的偏りに大きな影響を与える主要なモジュールを特定しました。
私たちの分析では、構造バイアスの検出と分類に Deep-BIAS ツールボックスを利用し、モジュールの寄与を定量化するために SHAP 分析によって補完されました。
これらの構成のパフォーマンスは、景観の特徴を徐々に変化させながら固定の最適な位置を維持する一連のアフィン再結合関数でテストされました。
私たちの結果は、モジュールに起因する構造的バイアスと、さまざまな景観特性にわたるアルゴリズムのパフォーマンスとの間の相互作用を示しています。

要約(オリジナル)

To guide the design of better iterative optimisation heuristics, it is imperative to understand how inherent structural biases within algorithm components affect the performance on a wide variety of search landscapes. This study explores the impact of structural bias in the modular Covariance Matrix Adaptation Evolution Strategy (modCMA), focusing on the roles of various modulars within the algorithm. Through an extensive investigation involving 435,456 configurations of modCMA, we identified key modules that significantly influence structural bias of various classes. Our analysis utilized the Deep-BIAS toolbox for structural bias detection and classification, complemented by SHAP analysis for quantifying module contributions. The performance of these configurations was tested on a sequence of affine-recombined functions, maintaining fixed optimum locations while gradually varying the landscape features. Our results demonstrate an interplay between module-induced structural bias and algorithm performance across different landscape characteristics.

arxiv情報

著者 Niki van Stein,Sarah L. Thomson,Anna V. Kononova
発行日 2024-04-26 11:07:09+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, cs.NE パーマリンク