From Understanding Genetic Drift to a Smart-Restart Mechanism for Estimation-of-Distribution Algorithms

要約

分布推定アルゴリズム (EDA) は、最適な解を簡単に抽出できる検索空間の分布を学習する最適化アルゴリズムです。
ほとんどの EDA の重要なパラメーターは、サンプル サイズ (人口サイズ) です。
集団サイズが小さすぎると、確率モデルの更新が少数のサンプルに基づいて構築され、遺伝的浮動の望ましくない影響が生じます。
集団サイズが大きすぎると、遺伝的浮動を回避できますが、プロセスが遅くなります。
集団サイズが遺伝的ドリフトにどのようにつながるかについての最近の定量分析に基づいて、EDAのスマートリスタートメカニズムを設計します。
遺伝的ドリフトのリスクが高いときに実行を停止することにより、適切なパラメーター体制で EDA を自動的に実行します。
数学的ランタイム分析により、このスマート リスタート スキームの一般的なパフォーマンス保証を証明します。
これは特に、最適な (問題固有の) パラメーター値がわかっている多くの状況で、再起動スキームが自動的にこれらを見つけ、漸近的に最適なパフォーマンスにつながることを示しています。
また、広範な実験的分析も行っています。
4 つの古典的なベンチマーク問題で、母集団サイズがパフォーマンスに重大な影響を与えることを明確に観察し、スマート リスタート スキームが、最適なパラメーター値で得られるパフォーマンスに近いパフォーマンスにつながることを発見しました。
私たちの結果はまた、最適な人口サイズに対する以前の理論に基づく提案が最適なものから遠く離れている可能性があることを示しており、スマートリスタートスキームを介して得られたものより明らかに劣るパフォーマンスにつながります。
また、文献からの 2 つの組み合わせ最適化問題、max-cut 問題と 2 分割問題について、PBIL (クロス エントロピー アルゴリズム) を使用した実験も行います。
繰り返しますが、スマート リスタート メカニズムは、文献で提案されている値よりもはるかに優れた母集団サイズの値を見つけ、はるかに優れたパフォーマンスにつながることがわかります。

要約(オリジナル)

Estimation-of-distribution algorithms (EDAs) are optimization algorithms that learn a distribution on the search space from which good solutions can be sampled easily. A key parameter of most EDAs is the sample size (population size). If the population size is too small, the update of the probabilistic model builds on few samples, leading to the undesired effect of genetic drift. Too large population sizes avoid genetic drift, but slow down the process. Building on a recent quantitative analysis of how the population size leads to genetic drift, we design a smart-restart mechanism for EDAs. By stopping runs when the risk for genetic drift is high, it automatically runs the EDA in good parameter regimes. Via a mathematical runtime analysis, we prove a general performance guarantee for this smart-restart scheme. This in particular shows that in many situations where the optimal (problem-specific) parameter values are known, the restart scheme automatically finds these, leading to the asymptotically optimal performance. We also conduct an extensive experimental analysis. On four classic benchmark problems, we clearly observe the critical influence of the population size on the performance, and we find that the smart-restart scheme leads to a performance close to the one obtainable with optimal parameter values. Our results also show that previous theory-based suggestions for the optimal population size can be far from the optimal ones, leading to a performance clearly inferior to the one obtained via the smart-restart scheme. We also conduct experiments with PBIL (cross-entropy algorithm) on two combinatorial optimization problems from the literature, the max-cut problem and the bipartition problem. Again, we observe that the smart-restart mechanism finds much better values for the population size than those suggested in the literature, leading to a much better performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google