Reinforcement learning Based Automated Design of Differential Evolution Algorithm for Black-box Optimization

要約

微分進化 (DE) アルゴリズムは、最も効果的な進化アルゴリズムの 1 つとして認識されており、微分を含まない性質によりブラック ボックス最適化で顕著な効果を示します。
基本的な DE に対する数多くの機能拡張が提案されており、革新的な突然変異戦略と高度なパラメーター調整技術を組み込んでパフォーマンスを向上させています。
ただし、すべての問題にわたって普遍的に優れていることが証明された単一のバリアントはありません。
この課題に対処するために、強化学習 (RL) を採用し、メタ学習を通じてブラック ボックス最適化のための DE を自動的に設計する新しいフレームワークを導入します。
RL は高度なメタ オプティマイザーとして機能し、特定のブラック ボックス最適化問題に合わせた最適な初期化戦略、更新ルール、ハイパーパラメーターを含むカスタマイズされた DE 構成を生成します。
このプロセスは、問題の特性の詳細な分析によって情報が得られます。
この概念実証研究では、実装にダブルディープ Q ネットワークを利用し、40 の可能な戦略の組み合わせのサブセットとパラメーターの最適化を同時に検討します。
フレームワークのパフォーマンスは、ブラックボックス最適化ベンチマークに対して評価され、最先端のアルゴリズムと比較されます。
実験結果は、私たちが提案したフレームワークの有望な可能性を強調しています。

要約(オリジナル)

Differential evolution (DE) algorithm is recognized as one of the most effective evolutionary algorithms, demonstrating remarkable efficacy in black-box optimization due to its derivative-free nature. Numerous enhancements to the fundamental DE have been proposed, incorporating innovative mutation strategies and sophisticated parameter tuning techniques to improve performance. However, no single variant has proven universally superior across all problems. To address this challenge, we introduce a novel framework that employs reinforcement learning (RL) to automatically design DE for black-box optimization through meta-learning. RL acts as an advanced meta-optimizer, generating a customized DE configuration that includes an optimal initialization strategy, update rule, and hyperparameters tailored to a specific black-box optimization problem. This process is informed by a detailed analysis of the problem characteristics. In this proof-of-concept study, we utilize a double deep Q-network for implementation, considering a subset of 40 possible strategy combinations and parameter optimizations simultaneously. The framework’s performance is evaluated against black-box optimization benchmarks and compared with state-of-the-art algorithms. The experimental results highlight the promising potential of our proposed framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google