Enhancing MAP-Elites with Multiple Parallel Evolution Strategies

要約

多くのドメインでの高速かつ大規模な並列評価の開発により、すでに広範なアプリケーションで有望であることが証明されている品質ダイバーシティ (QD) アルゴリズムの可能性が倍増しています。
ただし、ランダムな変動のみに評価を使用するだけでは必ずしも効果的であるとは限らないため、多数の評価を最適に使用する方法はまだ理解できません。
高次元の検索空間は、ランダムな変動が効果的に検索するのに苦労する典型的な状況です。
もう 1 つの状況は、解が実際よりも良く見える可能性があり、より多くの解を単純に評価すると QD アルゴリズムを誤解する可能性がある不確実な設定です。
この研究では、高速並列評価をより効果的に活用するように設計されたEvolution Strategies (ES) に基づく新しい QD アルゴリズムである MAP-Elites-Multi-ES (MEMES) を提案します。
MEMES は、複数 (最大 100) の同時 ES プロセスを維持し、それぞれが独自の独立した目的と QD 最適化用に設計されたリセット メカニズムを備え、すべて単一の GPU 上で実行します。
我々は、MEMES がブラックボックス最適化および QD 強化学習タスクにおいて勾配ベースおよび突然変異ベースの両方の QD アルゴリズムよりも優れたパフォーマンスを示し、ドメイン全体でその利点を実証しました。
さらに、私たちのアプローチは、同じ評価予算が与えられた場合、不確実な領域においてサンプリングベースの QD 手法よりも優れたパフォーマンスを発揮します。
全体として、MEMES は、簡単にアクセスできるハードウェア上で大規模な ES 最適化を通じて、高性能で多様性のある再現可能なソリューションを生成します。

要約(オリジナル)

With the development of fast and massively parallel evaluations in many domains, Quality-Diversity (QD) algorithms, that already proved promising in a large range of applications, have seen their potential multiplied. However, we have yet to understand how to best use a large number of evaluations as using them for random variations alone is not always effective. High-dimensional search spaces are a typical situation where random variations struggle to effectively search. Another situation is uncertain settings where solutions can appear better than they truly are and naively evaluating more solutions might mislead QD algorithms. In this work, we propose MAP-Elites-Multi-ES (MEMES), a novel QD algorithm based on Evolution Strategies (ES) designed to exploit fast parallel evaluations more effectively. MEMES maintains multiple (up to 100) simultaneous ES processes, each with its own independent objective and reset mechanism designed for QD optimisation, all on just a single GPU. We show that MEMES outperforms both gradient-based and mutation-based QD algorithms on black-box optimisation and QD-Reinforcement-Learning tasks, demonstrating its benefit across domains. Additionally, our approach outperforms sampling-based QD methods in uncertain domains when given the same evaluation budget. Overall, MEMES generates reproducible solutions that are high-performing and diverse through large-scale ES optimisation on easily accessible hardware.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google