Arbitrarily Scalable Environment Generators via Neural Cellular Automata

要約

私たちは、マルチロボット システムのスループットを向上させるために任意に大規模な環境を生成する問題を研究します。
これまでの研究では、自動倉庫の環境を最適化するための効果的な方法として、品質多様性 (QD) アルゴリズムが提案されています。
ただし、これらのアプローチは比較的小規模な環境のみを最適化し、実際の倉庫のサイズを再現するには不十分です。
この課題は、環境の規模が増大するにつれて検索スペースが指数関数的に増加することから生じます。
さらに、これまでの方法はシミュレーションでは最大 350 台のロボットでしかテストされていませんでしたが、実際の倉庫では数千台のロボットを収容できる可能性があります。
この論文では、環境を最適化する代わりに、QD アルゴリズムを介してニューラル セルラー オートマトン (NCA) 環境ジェネレーターを最適化することを提案します。
小規模な環境で QD アルゴリズムを使用して NCA ジェネレーターのコレクションをトレーニングし、テスト時にジェネレーターから任意の大規模な環境を生成します。
NCA 環境ジェネレーターは、環境の規模に関係なく、一貫した正規化されたパターンを維持し、最大 2,350 台のロボットを備えた 2 つの異なるドメインにおけるマルチロボット システムのスケーラビリティを大幅に向上させることを示します。
さらに、私たちの方法が単一エージェントの強化学習ポリシーを、同様のパターンを持つ任意の大規模環境に拡張できることを示します。
ソース コードは \url{https://github.com/lunjohnzhang/warehouse_env_gen_nca_public} に含まれています。

要約(オリジナル)

We study the problem of generating arbitrarily large environments to improve the throughput of multi-robot systems. Prior work proposes Quality Diversity (QD) algorithms as an effective method for optimizing the environments of automated warehouses. However, these approaches optimize only relatively small environments, falling short when it comes to replicating real-world warehouse sizes. The challenge arises from the exponential increase in the search space as the environment size increases. Additionally, the previous methods have only been tested with up to 350 robots in simulations, while practical warehouses could host thousands of robots. In this paper, instead of optimizing environments, we propose to optimize Neural Cellular Automata (NCA) environment generators via QD algorithms. We train a collection of NCA generators with QD algorithms in small environments and then generate arbitrarily large environments from the generators at test time. We show that NCA environment generators maintain consistent, regularized patterns regardless of environment size, significantly enhancing the scalability of multi-robot systems in two different domains with up to 2,350 robots. Additionally, we demonstrate that our method scales a single-agent reinforcement learning policy to arbitrarily large environments with similar patterns. We include the source code at \url{https://github.com/lunjohnzhang/warehouse_env_gen_nca_public}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google