InfiniteWorld: A Unified Scalable Simulation Framework for General Visual-Language Robot Interaction

要約

身体化された AI におけるスケーリングの法則の実現が焦点となっています。
しかし、これまでの研究はさまざまなシミュレーション プラットフォームに分散しており、アセットやモデルには統一されたインターフェイスが欠けており、研究の非効率性につながっていました。
これに対処するために、Nvidia Isaac Sim 上に構築された一般的なビジョン言語ロボット インタラクション用の統合されたスケーラブルなシミュレーターである InfiniteWorld を導入します。
InfiniteWorld には、物理​​アセット構築手法と一般化された自由なロボット インタラクション ベンチマークの包括的なセットが含まれています。
具体的には、まず、生成駆動型 3D アセット構築、Real2Sim、自動アノテーション フレームワーク、および統合 3D アセット処理における一連の改善を統合した、身体的学習のための統合されたスケーラブルなシミュレーション フレームワークを構築しました。
このフレームワークは、ロボットの対話と学習のための統合されたスケーラブルなプラットフォームを提供します。
さらに、現実的なロボットの相互作用をシミュレートするために、シーン グラフの共同探索やオープンワールドのソーシャル モバイル操作など、4 つの新しい一般ベンチマークを構築しました。
前者は、ロボットが環境を探索してシーンの知識を構築するための重要なタスクとして見落とされがちですが、後者は、前者に基づいて、さまざまなレベルの知識エージェントとのロボットの対話タスクをシミュレートします。
彼らは、環境の理解、タスクの計画と実行、およびインテリジェントな対話における身体化エージェントの能力をより包括的に評価できます。
私たちは、この取り組みがコミュニティに体系的なアセット インターフェイスを提供し、高品質のアセットの不足によるジレンマを軽減し、ロボット インタラクションのより包括的な評価を提供できることを願っています。

要約(オリジナル)

Realizing scaling laws in embodied AI has become a focus. However, previous work has been scattered across diverse simulation platforms, with assets and models lacking unified interfaces, which has led to inefficiencies in research. To address this, we introduce InfiniteWorld, a unified and scalable simulator for general vision-language robot interaction built on Nvidia Isaac Sim. InfiniteWorld encompasses a comprehensive set of physics asset construction methods and generalized free robot interaction benchmarks. Specifically, we first built a unified and scalable simulation framework for embodied learning that integrates a series of improvements in generation-driven 3D asset construction, Real2Sim, automated annotation framework, and unified 3D asset processing. This framework provides a unified and scalable platform for robot interaction and learning. In addition, to simulate realistic robot interaction, we build four new general benchmarks, including scene graph collaborative exploration and open-world social mobile manipulation. The former is often overlooked as an important task for robots to explore the environment and build scene knowledge, while the latter simulates robot interaction tasks with different levels of knowledge agents based on the former. They can more comprehensively evaluate the embodied agent’s capabilities in environmental understanding, task planning and execution, and intelligent interaction. We hope that this work can provide the community with a systematic asset interface, alleviate the dilemma of the lack of high-quality assets, and provide a more comprehensive evaluation of robot interactions.

arxiv情報

著者 Pengzhen Ren,Min Li,Zhen Luo,Xinshuai Song,Ziwei Chen,Weijia Liufu,Yixuan Yang,Hao Zheng,Rongtao Xu,Zitong Huang,Tongsheng Ding,Luyang Xie,Kaidong Zhang,Changfei Fu,Yang Liu,Liang Lin,Feng Zheng,Xiaodan Liang
発行日 2024-12-08 02:59:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO パーマリンク