RANS: Highly-Parallelised Simulator for Reinforcement Learning based Autonomous Navigating Spacecrafts

要約

現在、信頼性の高いロボット ソリューションを検証して構築するには、現実的なシミュレーション環境が不可欠です。
これは、強化学習 (RL) ベースの制御ポリシーを使用する場合に特に当てはまります。
この目的を達成するには、ロボット開発者と RL 開発者の両方が、物理的に正確なシミュレーションと合成データセットを作成するためのツールとワークフローを必要とします。
Gazebo、MuJoCo、Webots、Pybullets、または Isaac Sym は、ロボット システムをシミュレートするために利用できる多数のツールの一部です。
宇宙ナビゲーションのための学習ベースの手法の開発は、問題の非常に複雑な性質により、高度に並列化されたシミュレーションを必要とする集中的なデータ駆動型プロセスとなります。
宇宙船の制御に関しては、RL 用に設計された使いやすいシミュレーション ライブラリはありません。
私たちは、物理シミュレーションとポリシー トレーニングの両方が GPU 上に存在する NVIDIA Isaac Gym の機能を利用することで、このギャップに対処します。
このツールに基づいて、ユーザーが位置、姿勢、速度制御などの一連の操縦タスクを学習する何千もの並列宇宙船をシミュレートできるオープンソース ライブラリを提供します。
これらのタスクにより、着陸、ドッキング、ランデブーなどの軌道の最適化など、複雑な宇宙シナリオを検証できます。

要約(オリジナル)

Nowadays, realistic simulation environments are essential to validate and build reliable robotic solutions. This is particularly true when using Reinforcement Learning (RL) based control policies. To this end, both robotics and RL developers need tools and workflows to create physically accurate simulations and synthetic datasets. Gazebo, MuJoCo, Webots, Pybullets or Isaac Sym are some of the many tools available to simulate robotic systems. Developing learning-based methods for space navigation is, due to the highly complex nature of the problem, an intensive data-driven process that requires highly parallelized simulations. When it comes to the control of spacecrafts, there is no easy to use simulation library designed for RL. We address this gap by harnessing the capabilities of NVIDIA Isaac Gym, where both physics simulation and the policy training reside on GPU. Building on this tool, we provide an open-source library enabling users to simulate thousands of parallel spacecrafts, that learn a set of maneuvering tasks, such as position, attitude, and velocity control. These tasks enable to validate complex space scenarios, such as trajectory optimization for landing, docking, rendezvous and more.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google