Discovering Evolution Strategies via Meta-Black-Box Optimization

要約

勾配にアクセスせずに関数を最適化することは、進化戦略などのブラック ボックス手法の権限です。
非常に一般的ですが、それらの学習ダイナミクスはしばしばヒューリスティックで柔軟性がありません。まさにメタ学習が対処できる制限です.
したがって、メタ学習を介して進化戦略の効果的な更新ルールを発見することを提案します。
具体的には、私たちのアプローチは、自己注意ベースのアーキテクチャによってパラメーター化された検索戦略を採用しています。これにより、更新ルールが候補ソリューションの順序に対して不変であることを保証します。
代表的な低次元分析最適化問題の小さなセットでこのシステムをメタ進化させるだけで、目に見えない最適化問題、母集団サイズ、および最適化の範囲に一般化できる新しい進化戦略を発見するのに十分であることを示します。
さらに、同じ学習された進化戦略は、監視された継続的な制御タスクで確立された神経進化のベースラインよりも優れている可能性があります。
追加の貢献として、メソッドの個々のニューラル ネットワーク コンポーネントを除去します。
学習した戦略を明示的なヒューリスティック形式にリバース エンジニアリングします。これは高い競争力を維持します。
また、学習した更新規則を使用して外側のメタ学習ループを駆動することで、進化戦略をゼロから自己参照的にトレーニングできることを示しています。

要約(オリジナル)

Optimizing functions without access to gradients is the remit of black-box methods such as evolution strategies. While highly general, their learning dynamics are often times heuristic and inflexible – exactly the limitations that meta-learning can address. Hence, we propose to discover effective update rules for evolution strategies via meta-learning. Concretely, our approach employs a search strategy parametrized by a self-attention-based architecture, which guarantees the update rule is invariant to the ordering of the candidate solutions. We show that meta-evolving this system on a small set of representative low-dimensional analytic optimization problems is sufficient to discover new evolution strategies capable of generalizing to unseen optimization problems, population sizes and optimization horizons. Furthermore, the same learned evolution strategy can outperform established neuroevolution baselines on supervised and continuous control tasks. As additional contributions, we ablate the individual neural network components of our method; reverse engineer the learned strategy into an explicit heuristic form, which remains highly competitive; and show that it is possible to self-referentially train an evolution strategy from scratch, with the learned update rule used to drive the outer meta-learning loop.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google