Hyper-Heuristics Can Profit From Global Variation Operators

要約

最近の研究では、Lissovoi、Oliveto、および Warwicker (Artificial Intelligence (2023)) が、Move Acceptance Hyper-Heuristic (MAHH) がマルチモーダル CLIFF ベンチマークの局所最適を顕著な効率で残すことを証明しました。
MAHH の $O(n^3)$ 実行時間は、ほぼすべての崖幅 $d\ge 2,$ において、単純なエリート主義進化アルゴリズム (EA) の $\Theta(n^d)$ 実行時間よりも大幅に優れています。
崖。
この研究では、この利点が CLIFF 問題に特有のものであり、ランダム化検索ヒューリスティックの理論で最も著名なマルチモーダル ベンチマークである JUMP ベンチマークには適用されないことを最初に示します。
MAHH 選択パラメータ $p$ をどのように選択しても、ギャップ サイズ $m = O(n^{1/2})$ の JUMP 関数での MAHH の予想実行時間は少なくとも $\Omega(n
^{2m-1} / (2m-1)!)$。
これは、単純なエリート EA の $O(n^m)$ ランタイムよりも大幅に遅いです。
心強いことに、MAHH のローカル 1 ビット変異演算子を EA で一般的に使用されるグローバル ビットごとの変異演算子に置き換えると、実行時間が $\min\{1, O(\frac{e\ln
(n)}{m})^m\} \、JUMP 関数の O(n^m)$。
これは、単純なエリート主義 EA の実行時間と少なくとも同じくらい優れています。
$m$ の値が大きい場合、この結果は単純な EA よりも漸近的にパフォーマンスが向上することを証明しています。
私たちの証明が示すように、MAHH は、より低い目標値の谷を適度なサイズのステップで通過し、常に劣った解決策を受け入れる能力から利益を得ています。
このような最適化動作が数学的手段によって証明されたのはこれが初めてです。
一般に、私たちの結果は、局所最適化に対処する 2 つの方法、グローバルな突然変異と劣ったソリューションの受け入れを組み合わせることで、大幅なパフォーマンスの向上につながる可能性があることを示しています。

要約(オリジナル)

In recent work, Lissovoi, Oliveto, and Warwicker (Artificial Intelligence (2023)) proved that the Move Acceptance Hyper-Heuristic (MAHH) leaves the local optimum of the multimodal CLIFF benchmark with remarkable efficiency. The $O(n^3)$ runtime of the MAHH, for almost all cliff widths $d\ge 2,$ is significantly better than the $\Theta(n^d)$ runtime of simple elitist evolutionary algorithms (EAs) on CLIFF. In this work, we first show that this advantage is specific to the CLIFF problem and does not extend to the JUMP benchmark, the most prominent multi-modal benchmark in the theory of randomized search heuristics. We prove that for any choice of the MAHH selection parameter $p$, the expected runtime of the MAHH on a JUMP function with gap size $m = O(n^{1/2})$ is at least $\Omega(n^{2m-1} / (2m-1)!)$. This is significantly slower than the $O(n^m)$ runtime of simple elitist EAs. Encouragingly, we also show that replacing the local one-bit mutation operator in the MAHH with the global bit-wise mutation operator, commonly used in EAs, yields a runtime of $\min\{1, O(\frac{e\ln(n)}{m})^m\} \, O(n^m)$ on JUMP functions. This is at least as good as the runtime of simple elitist EAs. For larger values of $m$, this result proves an asymptotic performance gain over simple EAs. As our proofs reveal, the MAHH profits from its ability to walk through the valley of lower objective values in moderate-size steps, always accepting inferior solutions. This is the first time that such an optimization behavior is proven via mathematical means. Generally, our result shows that combining two ways of coping with local optima, global mutation and accepting inferior solutions, can lead to considerable performance gains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google