A Scalable and Parallelizable Digital Twin Framework for Sustainable Sim2Real Transition of Multi-Agent Reinforcement Learning Systems

要約

マルチエージェント強化学習 (MARL) システムは、その固有の複雑さのため、通常、非常に長いトレーニング時間を必要とします。
さらに、それらを現実世界に展開するには、複数の具体化されたエージェントを備えた機能豊富な環境が必要ですが、エネルギー消費や安全性の問題はもちろんのこと、予算やスペースの制限により実現不可能な場合もあります。
この研究では、並列化されたワークロードをオンデマンドで選択的にスケーリングし、最小限のハードウェア リソースを使用してトレーニングされたポリシーをシミュレーションから現実に転送することで MARL トレーニングを加速できる持続可能なデジタル ツイン フレームワークを提示することで、これらの問題点に対処しようとしています。
提案されたデジタル ツイン フレームワークの適用可能性は、MARL 問題の協調クラスと競合クラスをカバーする 2 つの代表的な使用例を通じて強調されます。
両方のケーススタディにわたって、エージェントと環境の並列化がトレーニング時間に及ぼす影響と、体系的なドメインのランダム化がゼロショット sim2real 転送に及ぼす影響を調査します。
結果は、提案された並列化スキームによりトレーニング時間が最大 76.3% 削減され、提案された展開方法を使用すると sim2real ギャップが 2.9% まで減少することを示しています。

要約(オリジナル)

Multi-agent reinforcement learning (MARL) systems usually require significantly long training times due to their inherent complexity. Furthermore, deploying them in the real world demands a feature-rich environment along with multiple embodied agents, which may not be feasible due to budget or space limitations, not to mention energy consumption and safety issues. This work tries to address these pain points by presenting a sustainable digital twin framework capable of accelerating MARL training by selectively scaling parallelized workloads on-demand, and transferring the trained policies from simulation to reality using minimal hardware resources. The applicability of the proposed digital twin framework is highlighted through two representative use cases, which cover cooperative as well as competitive classes of MARL problems. We study the effect of agent and environment parallelization on training time and that of systematic domain randomization on zero-shot sim2real transfer across both the case studies. Results indicate up to 76.3% reduction in training time with the proposed parallelization scheme and as low as 2.9% sim2real gap using the suggested deployment method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google