Lazy Parameter Tuning and Control: Choosing All Parameters Randomly From a Power-Law Distribution

要約

ほとんどの進化的アルゴリズムには複数のパラメーターがあり、それらの値はパフォーマンスに大きく影響します。
パラメーターの相互作用はしばしば複雑になるため、特定の問題に対してこれらの値を適切に設定すること (パラメーターの調整) は困難な作業です。
アルゴリズムの実行中に最適なパラメーター値が大幅に変化すると、動的なパラメーターの選択 (パラメーター制御) が必要になるため、このタスクはさらに複雑になります。
この作業では、怠惰ではあるが効果的な解決策を提案します。つまり、適切にスケーリングされたべき乗分布からランダムに各反復ですべてのパラメーター値 (これが理にかなっている場合) を選択します。
このアプローチの有効性を実証するために、この方法で選択された 3 つのパラメーターすべてを使用して、$(1+(\lambda,\lambda))$ 遺伝的アルゴリズムのランタイム分析を実行します。
一方では、このアルゴリズムが $(1+1)$ EA のような単純なヒルクライマーを模倣できることを示し、OneMax、LeadingOnes、または最小スパニング ツリーなどの問題で同じ漸近ランタイムを提供します。
一方、このアルゴリズムは、最適な静的パラメーターが単純な問題を最適化するために必要なパラメーターとは大きく異なるジャンプ関数でも非常に効率的です。
静的パラメーターで知られている最高のパフォーマンスに匹敵するパフォーマンス保証を証明します。
ジャンプ サイズ $k$ が一定であるという最も興味深いケースでは、パフォーマンスが静的パラメーターの選択で得られるものよりも漸近的に優れていることを証明します。
漸近的な実行時の結果が示唆することを確認する厳密な経験的研究により、理論的結果を補完します。

要約(オリジナル)

Most evolutionary algorithms have multiple parameters and their values drastically affect the performance. Due to the often complicated interplay of the parameters, setting these values right for a particular problem (parameter tuning) is a challenging task. This task becomes even more complicated when the optimal parameter values change significantly during the run of the algorithm since then a dynamic parameter choice (parameter control) is necessary. In this work, we propose a lazy but effective solution, namely choosing all parameter values (where this makes sense) in each iteration randomly from a suitably scaled power-law distribution. To demonstrate the effectiveness of this approach, we perform runtime analyses of the $(1+(\lambda,\lambda))$ genetic algorithm with all three parameters chosen in this manner. We show that this algorithm on the one hand can imitate simple hill-climbers like the $(1+1)$ EA, giving the same asymptotic runtime on problems like OneMax, LeadingOnes, or Minimum Spanning Tree. On the other hand, this algorithm is also very efficient on jump functions, where the best static parameters are very different from those necessary to optimize simple problems. We prove a performance guarantee that is comparable to the best performance known for static parameters. For the most interesting case that the jump size $k$ is constant, we prove that our performance is asymptotically better than what can be obtained with any static parameter choice. We complement our theoretical results with a rigorous empirical study confirming what the asymptotic runtime results suggest.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google