Assessing Quality-Diversity Neuro-Evolution Algorithms Performance in Hard Exploration Problems

要約

自然の魅力的な側面は、それぞれのニッチ分野で優れたパフォーマンスを発揮する生物の集合体を生み出す能力にあります。
品質ダイバーシティ (QD) 手法は、この観察に触発された進化的アルゴリズムであり、翼の設計からロボットの適応まで、多くのアプリケーションで優れた結果が得られました。
最近、いくつかの研究で、これらの方法を神経進化の実行に適用して、大規模な探索空間における制御問題を解決できることが実証されました。
このような問題では、多様性自体が標的となる可能性があります。
多様性は、欺瞞的な報酬シグナルを示すタスクの探索を強化する方法にもなりえます。
最初の側面は QD コミュニティで詳細に研究されていますが、後者は文献では依然として少ないです。
探索は、強化学習などの制御問題を解決しようとするいくつかの領域の中心であり、QD 手法は、関連する課題を克服する有望な候補です。
したがって、探査の困難さを伴う高次元の制御問題を示す標準化されたベンチマークは、QD コミュニティにとって興味深いものであると考えられます。
このペーパーでは、3 つの候補ベンチマークに焦点を当て、それらが QD アルゴリズムの体系的な評価に関連していると思われる理由を説明します。
また、Jax でのオープンソース実装も提供しており、実践者は少ないコンピューティング リソースで高速かつ多数の実験を実行できます。

要約(オリジナル)

A fascinating aspect of nature lies in its ability to produce a collection of organisms that are all high-performing in their niche. Quality-Diversity (QD) methods are evolutionary algorithms inspired by this observation, that obtained great results in many applications, from wing design to robot adaptation. Recently, several works demonstrated that these methods could be applied to perform neuro-evolution to solve control problems in large search spaces. In such problems, diversity can be a target in itself. Diversity can also be a way to enhance exploration in tasks exhibiting deceptive reward signals. While the first aspect has been studied in depth in the QD community, the latter remains scarcer in the literature. Exploration is at the heart of several domains trying to solve control problems such as Reinforcement Learning and QD methods are promising candidates to overcome the challenges associated. Therefore, we believe that standardized benchmarks exhibiting control problems in high dimension with exploration difficulties are of interest to the QD community. In this paper, we highlight three candidate benchmarks and explain why they appear relevant for systematic evaluation of QD algorithms. We also provide open-source implementations in Jax allowing practitioners to run fast and numerous experiments on few compute resources.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google