From Understanding Genetic Drift to a Smart-Restart Mechanism for Estimation-of-Distribution Algorithms

要約

分布推定アルゴリズム(EDA)は、探索空間上の分布を学習する最適化アルゴリズムであり、そこから良い解を簡単にサンプリングすることができる。ほとんどのEDAの重要なパラメータはサンプルサイズ（母集団サイズ）である。母集団サイズが小さすぎる場合、確率モデルの更新は少ないサンプルを基に行われるため、遺伝的ドリフトという望ましくない影響が生じます。母集団サイズが大きすぎると遺伝的ドリフトは避けられるが、プロセスが遅くなる。 母集団サイズがどのように遺伝的ドリフトを引き起こすかについての最近の定量的分析に基づいて、我々はEDAのためのスマート・リスタート機構を設計する。遺伝的ドリフトのリスクが高いときに実行を停止することで、良好なパラメータ領域でEDAを自動的に実行する。 数学的実行時間解析により、このスマート・リスタート・スキームの一般的な性能保証を証明する。特に、最適な（問題固有の）パラメータ値が既知である多くの状況において、再始動スキームが自動的にこれらのパラメータ値を見つけ、漸近的に最適な性能を導くことを示す。 また、広範な実験分析も行った。4つの古典的なベンチマーク問題において、母集団サイズが性能に与える決定的な影響を明瞭に観察し、スマート・リスタート・スキームが最適なパラメータ値で得られる性能に近い性能をもたらすことを見出した。また、理論に基づいた最適な母集団サイズの提案は、最適な母集団サイズからかけ離れ、スマートリスタート方式で得られる性能よりも明らかに劣る性能になる可能性があることも示した。また、PBIL（クロスエントロピー・アルゴリズム）を用いて、文献にある2つの組合せ最適化問題（最大カット問題と二分割問題）の実験を行った。ここでも、スマート・リスタート・メカニズムが、文献で示唆されている値よりもはるかに優れた母集団サイズの値を見つけ、はるかに優れた性能につながることが観察された。

要約(オリジナル)

Estimation-of-distribution algorithms (EDAs) are optimization algorithms that learn a distribution on the search space from which good solutions can be sampled easily. A key parameter of most EDAs is the sample size (population size). If the population size is too small, the update of the probabilistic model builds on few samples, leading to the undesired effect of genetic drift. Too large population sizes avoid genetic drift, but slow down the process. Building on a recent quantitative analysis of how the population size leads to genetic drift, we design a smart-restart mechanism for EDAs. By stopping runs when the risk for genetic drift is high, it automatically runs the EDA in good parameter regimes. Via a mathematical runtime analysis, we prove a general performance guarantee for this smart-restart scheme. This in particular shows that in many situations where the optimal (problem-specific) parameter values are known, the restart scheme automatically finds these, leading to the asymptotically optimal performance. We also conduct an extensive experimental analysis. On four classic benchmark problems, we clearly observe the critical influence of the population size on the performance, and we find that the smart-restart scheme leads to a performance close to the one obtainable with optimal parameter values. Our results also show that previous theory-based suggestions for the optimal population size can be far from the optimal ones, leading to a performance clearly inferior to the one obtained via the smart-restart scheme. We also conduct experiments with PBIL (cross-entropy algorithm) on two combinatorial optimization problems from the literature, the max-cut problem and the bipartition problem. Again, we observe that the smart-restart mechanism finds much better values for the population size than those suggested in the literature, leading to a much better performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL