Empowering Embodied Manipulation: A Bimanual-Mobile Robot Manipulation Dataset for Household Tasks

要約

身体型 AI の進歩により、ロボットが家庭内の操作など、現実世界の複雑なタスクに取り組むことができるようになってきています。
しかし、これらの環境へのロボットの展開は、学習可能な包括的な両手移動ロボット操作データが不足しているため、依然として制約を受けています。
既存のデータセットは主にシングルアーム操作タスクに焦点を当てていますが、入手可能な少数のデュアルアーム データセットにはモビリティ機能、タスクの多様性、包括的なセンサー データ、および堅牢な評価指標が欠けていることがよくあります。
彼らは、両手移動ロボットが実行することが期待される家庭内の操作タスクの複雑かつ動的な性質を捉えることができません。
これらの制限を克服するために、家庭用アプリケーション向けに特別に設計された両手移動ロボット操作データセットである BRMData を提案します。
BRMData は、マルチビューと深度センシング データ情報を利用して、片腕タスクと双腕タスク、卓上操作とモバイル操作の両方を含む 10 の多様な家事タスクを網羅します。
さらに、BRMData は、単一オブジェクトから複数オブジェクトの把握、非インタラクティブなシナリオから人間とロボットのインタラクティブなシナリオ、剛体から柔軟なオブジェクトの操作まで、難易度が高くなるタスクを特徴としており、現実世界の家庭用アプリケーションを厳密にシミュレートします。
さらに、家事におけるロボット操作方法の精度と効率の両方を評価するための新しい操作効率スコア (MES) 指標を導入します。
BRMDataを活用した高度なロボット操作学習手法の性能を徹底的に評価・解析し、両手移動ロボット操作技術の発展を目指します。
データセットは現在オープンソースであり、https://embodiedrobot.github.io/ で入手できます。

要約(オリジナル)

The advancements in embodied AI are increasingly enabling robots to tackle complex real-world tasks, such as household manipulation. However, the deployment of robots in these environments remains constrained by the lack of comprehensive bimanual-mobile robot manipulation data that can be learned. Existing datasets predominantly focus on single-arm manipulation tasks, while the few dual-arm datasets available often lack mobility features, task diversity, comprehensive sensor data, and robust evaluation metrics; they fail to capture the intricate and dynamic nature of household manipulation tasks that bimanual-mobile robots are expected to perform. To overcome these limitations, we propose BRMData, a Bimanual-mobile Robot Manipulation Dataset specifically designed for household applications. BRMData encompasses 10 diverse household tasks, including single-arm and dual-arm tasks, as well as both tabletop and mobile manipulations, utilizing multi-view and depth-sensing data information. Moreover, BRMData features tasks of increasing difficulty, ranging from single-object to multi-object grasping, non-interactive to human-robot interactive scenarios, and rigid-object to flexible-object manipulation, closely simulating real-world household applications. Additionally, we introduce a novel Manipulation Efficiency Score (MES) metric to evaluate both the precision and efficiency of robot manipulation methods in household tasks. We thoroughly evaluate and analyze the performance of advanced robot manipulation learning methods using our BRMData, aiming to drive the development of bimanual-mobile robot manipulation technologies. The dataset is now open-sourced and available at https://embodiedrobot.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google