ManiSkill3: GPU Parallelized Robotics Simulation and Rendering for Generalizable Embodied AI

要約

シミュレーションにより、ロボット学習に対する前例のない計算可能なアプローチが可能になりました。
ただし、多くの既存のシミュレーションフレームワークは通常、狭い範囲のシーン/タスクをサポートしており、一般化可能なロボット工学とSIM2realをスケーリングするために重要な機能が欠けています。
最速の状態視覚的GPU GPUであるManiskill3を紹介し、オープンソースManiskill3を紹介し、一般化可能な操作をターゲットにした接触豊富な物理学を備えたロボティクスシミュレーターを並べ替えます。
Maniskill3は、シミュレーション+レンダリング、不均一なシミュレーション、PointClouds/ボクセルの視覚入力など、多くの側面のGPU並列化をサポートしています。
Maniskill3でのレンダリングを使用したシミュレーションは、他のプラットフォームよりも2〜3倍少ないGPUメモリ使用量で10〜1000倍速く実行でき、システムでの最小限のPython/Pytorchオーバーヘッド、GPUのシミュレーション、およびSapien Parallal Renderingシステムの使用により、ベンチマーク環境で最大30,000以上のFPSを達成できます。
トレーニングに何時間もかかっていたタスクは数分かかることがあります。
さらに、アーティストや現実世界のデジタル双子によって設計された現実的なシーンでの描画、ヒューマノイド、器用な操作などのモバイル操作を含むが、これらに限定されない、12の異なるドメインにまたがる最も包括的な範囲の並列化された環境/タスクを提供します。
さらに、数百万のデモンストレーションフレームがモーションプランニング、RL、および操作から提供されています。
Maniskill3は、人気のあるRLと学習からの学習アルゴリズムにまたがる包括的なベースラインのセットも提供します。

要約(オリジナル)

Simulation has enabled unprecedented compute-scalable approaches to robot learning. However, many existing simulation frameworks typically support a narrow range of scenes/tasks and lack features critical for scaling generalizable robotics and sim2real. We introduce and open source ManiSkill3, the fastest state-visual GPU parallelized robotics simulator with contact-rich physics targeting generalizable manipulation. ManiSkill3 supports GPU parallelization of many aspects including simulation+rendering, heterogeneous simulation, pointclouds/voxels visual input, and more. Simulation with rendering on ManiSkill3 can run 10-1000x faster with 2-3x less GPU memory usage than other platforms, achieving up to 30,000+ FPS in benchmarked environments due to minimal python/pytorch overhead in the system, simulation on the GPU, and the use of the SAPIEN parallel rendering system. Tasks that used to take hours to train can now take minutes. We further provide the most comprehensive range of GPU parallelized environments/tasks spanning 12 distinct domains including but not limited to mobile manipulation for tasks such as drawing, humanoids, and dextrous manipulation in realistic scenes designed by artists or real-world digital twins. In addition, millions of demonstration frames are provided from motion planning, RL, and teleoperation. ManiSkill3 also provides a comprehensive set of baselines that span popular RL and learning-from-demonstrations algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google