要約
身体化型 AI が進歩するにつれて、ロボットが複雑な家庭の操作タスクをより効果的に処理できるようになります。
ただし、両手移動ロボット操作データセットが不足しているため、これらの環境でのロボットの応用は依然として限定的です。
既存のデータセットは、可動性のない単腕ロボットを使用した単純な把握タスクのみに焦点を当てているか、狭い範囲の感覚入力に限定されたセンサー データを収集しています。
その結果、これらのデータセットは、両手移動ロボットが実行することが期待される現実世界のタスクの複雑で動的な性質をカプセル化できないことがよくあります。
これらの制限に対処するために、家庭用アプリケーション向けに特別に設計された両手移動ロボット操作データセットである BRMData を導入します。
このデータセットには、単純な片腕操作からより複雑な双腕操作やモバイル操作に至るまで、10 種類の多様な家事が含まれています。
これは、マルチビューおよび深度センシングのデータ収集戦略を使用して収集されます。
人間とロボットの対話と複数オブジェクトの操作がタスク設計に統合され、現実世界の家庭用アプリケーションを厳密にシミュレートします。
さらに、ロボット操作方法の精度と効率の両方を評価するための操作効率スコア (MES) メトリックを提示します。
BRMData は、汎用ロボット操作技術の開発を促進することを目的としており、特に人間によるデモンストレーションからの模倣学習方法の進歩に焦点を当てています。
データセットは現在オープンソース化されており、https://embodiedrobot.github.io/ で利用可能であり、身体操作の分野における研究開発の取り組みが強化されています。
要約(オリジナル)
As Embodied AI advances, it increasingly enables robots to handle the complexity of household manipulation tasks more effectively. However, the application of robots in these settings remains limited due to the scarcity of bimanual-mobile robot manipulation datasets. Existing datasets either focus solely on simple grasping tasks using single-arm robots without mobility, or collect sensor data limited to a narrow scope of sensory inputs. As a result, these datasets often fail to encapsulate the intricate and dynamic nature of real-world tasks that bimanual-mobile robots are expected to perform. To address these limitations, we introduce BRMData, a Bimanual-mobile Robot Manipulation Dataset designed specifically for household applications. The dataset includes 10 diverse household tasks, ranging from simple single-arm manipulation to more complex dual-arm and mobile manipulations. It is collected using multi-view and depth-sensing data acquisition strategies. Human-robot interactions and multi-object manipulations are integrated into the task designs to closely simulate real-world household applications. Moreover, we present a Manipulation Efficiency Score (MES) metric to evaluate both the precision and efficiency of robot manipulation methods. BRMData aims to drive the development of versatile robot manipulation technologies, specifically focusing on advancing imitation learning methods from human demonstrations. The dataset is now open-sourced and available at https://embodiedrobot.github.io/, enhancing research and development efforts in the field of Embodied Manipulation.
arxiv情報
| 著者 | Tianle Zhang,Dongjiang Li,Yihang Li,Zecui Zeng,Lin Zhao,Lei Sun,Yue Chen,Xuelong Wei,Yibing Zhan,Lusong Li,Xiaodong He |
| 発行日 | 2024-05-29 08:15:56+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google