GRUtopia: Dream General Robots in a City at Scale

要約

最近の研究では、身体化された AI の分野におけるスケーリングの法則を調査しています。
現実世界のデータ収集に法外なコストがかかることを考慮すると、Simulation-to-Real (Sim2Real) パラダイムは、具体化されたモデルの学習をスケールするための重要なステップであると考えられます。
本稿では，さまざまなロボット向けに設計された初の模擬インタラクティブ３Ｄ社会プロジェクトＧＲＵｔｏｐｉａを紹介する。
(a) シーン データセット GRScenes には、インタラクティブで詳細に注釈が付けられた 100,000 のシーンが含まれており、都市規模の環境に自由に組み合わせることができます。
主に家庭に焦点を当てた以前の作品とは対照的に、GRScenes は 89 の多様なシーン カテゴリをカバーし、一般的なロボットが最初に導入されるサービス指向の環境のギャップを橋渡しします。
(b) GRResidents は、ソーシャル インタラクション、タスク生成、およびタスク割り当てを担当する大規模言語モデル (LLM) 駆動のノン プレイヤー キャラクター (NPC) システムであり、具体化された AI アプリケーションのソーシャル シナリオをシミュレートします。
(c) ベンチマークである GRBench は、さまざまなロボットをサポートしていますが、主要エージェントとして脚式ロボットに焦点を当てており、オブジェクト ロコ ナビゲーション、ソーシャル ロコ ナビゲーション、およびロコマニピュレーションを含む中程度に困難なタスクを課します。
私たちは、この研究によってこの分野における高品質のデータの不足が軽減され、身体化 AI 研究のより包括的な評価が提供されることを願っています。
このプロジェクトは https://github.com/OpenRobotLab/GRUtopia で入手できます。

要約(オリジナル)

Recent works have been exploring the scaling laws in the field of Embodied AI. Given the prohibitive costs of collecting real-world data, we believe the Simulation-to-Real (Sim2Real) paradigm is a crucial step for scaling the learning of embodied models. This paper introduces project GRUtopia, the first simulated interactive 3D society designed for various robots. It features several advancements: (a) The scene dataset, GRScenes, includes 100k interactive, finely annotated scenes, which can be freely combined into city-scale environments. In contrast to previous works mainly focusing on home, GRScenes covers 89 diverse scene categories, bridging the gap of service-oriented environments where general robots would be initially deployed. (b) GRResidents, a Large Language Model (LLM) driven Non-Player Character (NPC) system that is responsible for social interaction, task generation, and task assignment, thus simulating social scenarios for embodied AI applications. (c) The benchmark, GRBench, supports various robots but focuses on legged robots as primary agents and poses moderately challenging tasks involving Object Loco-Navigation, Social Loco-Navigation, and Loco-Manipulation. We hope that this work can alleviate the scarcity of high-quality data in this field and provide a more comprehensive assessment of Embodied AI research. The project is available at https://github.com/OpenRobotLab/GRUtopia.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google