Orbit: A Unified Simulation Framework for Interactive Robot Learning Environments

要約

NVIDIA Isaac Sim を活用したロボット学習のための統合されたモジュール式フレームワークである Orbit を紹介します。
モジュラー設計を提供し、写真のようにリアルなシーンと忠実度の高い剛体および変形可能なボディ シミュレーションを備えたロボット環境を簡単かつ効率的に作成できます。
Orbit では、キャビネットの開閉や布の折りたたみなどの 1 段階のタスクから、部屋の再編成などの複数段階のタスクに至るまで、さまざまな難易度の一連のベンチマーク タスクを提供します。
多様な観察およびアクション スペースでの作業をサポートするために、さまざまな物理ベースのセンサーとモーション ジェネレーターを備えた固定アームおよびモバイル マニピュレーターが含まれています。
Orbit を使用すると、GPU ベースの並列化を活用して、強化学習ポリシーをトレーニングし、手作りまたは専門家のソリューションから大規模なデモンストレーション データセットを数分で収集できます。
要約すると、16 のロボット プラットフォーム、4 つのセンサー モダリティ、10 のモーション ジェネレーター、20 を超えるベンチマーク タスク、および 4 つの学習ライブラリへのラッパーがすぐに付属するオープンソースのフレームワークを提供します。
このフレームワークにより、表現学習、強化学習、模倣学習、タスクおよび動作計画などのさまざまな研究領域をサポートすることを目指しています。
これがこれらのコミュニティで学際的なコラボレーションを確立するのに役立つことを願っています。また、そのモジュール性により、将来さらに多くのタスクやアプリケーションに簡単に拡張できるようになります。

要約(オリジナル)

We present Orbit, a unified and modular framework for robot learning powered by NVIDIA Isaac Sim. It offers a modular design to easily and efficiently create robotic environments with photo-realistic scenes and high-fidelity rigid and deformable body simulation. With Orbit, we provide a suite of benchmark tasks of varying difficulty — from single-stage cabinet opening and cloth folding to multi-stage tasks such as room reorganization. To support working with diverse observations and action spaces, we include fixed-arm and mobile manipulators with different physically-based sensors and motion generators. Orbit allows training reinforcement learning policies and collecting large demonstration datasets from hand-crafted or expert solutions in a matter of minutes by leveraging GPU-based parallelization. In summary, we offer an open-sourced framework that readily comes with 16 robotic platforms, 4 sensor modalities, 10 motion generators, more than 20 benchmark tasks, and wrappers to 4 learning libraries. With this framework, we aim to support various research areas, including representation learning, reinforcement learning, imitation learning, and task and motion planning. We hope it helps establish interdisciplinary collaborations in these communities, and its modularity makes it easily extensible for more tasks and applications in the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google