Multiple Hands Make Light Work: Enhancing Quality and Diversity using MAP-Elites with Multiple Parallel Evolution Strategies

要約

ハードウェア アクセラレータとそれに対応するツールの開発により、一部のアプリケーションでの高速かつ大規模な並列評価により、評価が手頃な価格になりました。
この進歩により、Quality-Diversity 最適化などの進化に着想を得たアルゴリズムのランタイムが大幅に高速化され、スケールによるアルゴリズム革新の大きな可能性が生み出されました。
この作業では、高速並列評価用に設計された進化戦略 (ES) に基づく新しい QD アルゴリズムである MAP-Elites-Multi-ES (MEMES) を提案します。
ME-Multi-ES は、既存の MAP-Elites-ES アルゴリズムの上に構築され、大規模な並列処理で複数の独立した ES スレッドを維持することによってスケーリングします。
また、独立した ES の寿命のための新しい動的リセット手順を導入して、QD 人口の改善を自律的に最大化します。
世代に関して比較した場合、MEMES が既存の勾配ベースおよび目的に依存しない QD アルゴリズムよりも優れていることを実験的に示します。
ブラック ボックス最適化と QD 強化学習タスクの両方でこの比較を実行し、さまざまな問題やドメインにわたるアプローチの利点を示します。
最後に、私たちのアプローチは、他の QD アルゴリズムでは観察されない現象である、ニッチ周辺の局所的なフィットネスの最適化を本質的に可能にすることもわかりました。

要約(オリジナル)

With the development of hardware accelerators and their corresponding tools, evaluations have become more affordable through fast and massively parallel evaluations in some applications. This advancement has drastically sped up the runtime of evolution-inspired algorithms such as Quality-Diversity optimization, creating tremendous potential for algorithmic innovation through scale. In this work, we propose MAP-Elites-Multi-ES (MEMES), a novel QD algorithm based on Evolution Strategies (ES) designed for fast parallel evaluations. ME-Multi-ES builds on top of the existing MAP-Elites-ES algorithm, scaling it by maintaining multiple independent ES threads with massive parallelization. We also introduce a new dynamic reset procedure for the lifespan of the independent ES to autonomously maximize the improvement of the QD population. We show experimentally that MEMES outperforms existing gradient-based and objective-agnostic QD algorithms when compared in terms of generations. We perform this comparison on both black-box optimization and QD-Reinforcement Learning tasks, demonstrating the benefit of our approach across different problems and domains. Finally, we also find that our approach intrinsically enables optimization of fitness locally around a niche, a phenomenon not observed in other QD algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google