DARLEI: Deep Accelerated Reinforcement Learning with Evolutionary Intelligence

要約

私たちは、UNIMAL エージェントの集団を効率的に訓練し進化させるために、進化的アルゴリズムと並列強化学習を組み合わせたフレームワークである DARLEI を紹介します。
私たちのアプローチは、個々のエージェントの学習に近接ポリシー最適化 (PPO) を利用し、それをトーナメント選択ベースの世代学習メカニズムと組み合わせて、形態学的進化を促進します。
Nvidia の Isaac Gym を基盤とすることで、DARLEI は GPU 高速化シミュレーションを活用し、大規模な分散 CPU クラスターを必要とした以前の作業と比較して、単一のワークステーションのみで 20 倍を超える高速化を達成しました。
私たちは、さまざまな条件下での DARLEI のパフォーマンスを体系的に特徴付け、進化した形態の多様性に影響を与える要因を明らかにします。
たとえば、シミュレーター内でエージェント間の衝突を有効にすることで、同じ形態間のマルチエージェント相互作用をシミュレートできることがわかり、それが個々のエージェントの能力と長期的な進化的適応にどのような影響を与えるかを確認できます。
現在の結果では世代間の多様性が限られていることが示されていますが、私たちは将来の研究でDARLEIを拡張して、より豊かな環境における多様な形態間の相互作用を含め、個体群の共進化と個体群における新たな行動の調査を可能にするプラットフォームを作成したいと考えています。
私たちのソースコードは https://saeejithnair.github.io/darlei でも公開されています。

要約(オリジナル)

We present DARLEI, a framework that combines evolutionary algorithms with parallelized reinforcement learning for efficiently training and evolving populations of UNIMAL agents. Our approach utilizes Proximal Policy Optimization (PPO) for individual agent learning and pairs it with a tournament selection-based generational learning mechanism to foster morphological evolution. By building on Nvidia’s Isaac Gym, DARLEI leverages GPU accelerated simulation to achieve over 20x speedup using just a single workstation, compared to previous work which required large distributed CPU clusters. We systematically characterize DARLEI’s performance under various conditions, revealing factors impacting diversity of evolved morphologies. For example, by enabling inter-agent collisions within the simulator, we find that we can simulate some multi-agent interactions between the same morphology, and see how it influences individual agent capabilities and long-term evolutionary adaptation. While current results demonstrate limited diversity across generations, we hope to extend DARLEI in future work to include interactions between diverse morphologies in richer environments, and create a platform that allows for coevolving populations and investigating emergent behaviours in them. Our source code is also made publicly at https://saeejithnair.github.io/darlei.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google