M3Bench: Benchmarking Whole-body Motion Generation for Mobile Manipulation in 3D Scenes

要約

我々は、モバイル操作タスクのための全身動作生成の新しいベンチマークである M^3Bench を提案します。
3D シーンのコンテキストが与えられると、M^3Bench では、身体化されたエージェントがその構成、環境制約、タスクの目的を理解し、オブジェクトの再配置タスクのために調整された全身運動の軌道を生成する必要があります。
M^3Bench は 119 の多様なシーンにわたる 30,000 のオブジェクト再配置タスクを備えており、新しく開発された M^3BenchMaker によって生成された専門家のデモンストレーションを提供します。
この自動データ生成ツールは、基本的なシーンとロボットの情報のみを必要とする、高レベルのタスク命令から調整された全身動作の軌跡を生成します。
私たちのベンチマークには、さまざまなタスク分割を組み込んで、さまざまな次元にわたる一般化を評価し、軌道評価のために現実的な物理シミュレーションを活用します。
広範な実験解析を通じて、最先端のモデルは、環境コンテキストやタスク固有の制約を遵守しながらも、ベースアームの動作を調整することに依然として苦労していることを明らかにし、このギャップに対処する新しいモデルを開発する必要性を強調しています。
私たちは、M^3Bench を通じて、現実世界の多様な環境における、より適応的で有能なモバイル操作に向けた将来のロボット研究を促進することを目指しています。

要約(オリジナル)

We propose M^3Bench, a new benchmark of whole-body motion generation for mobile manipulation tasks. Given a 3D scene context, M^3Bench requires an embodied agent to understand its configuration, environmental constraints and task objectives, then generate coordinated whole-body motion trajectories for object rearrangement tasks. M^3Bench features 30k object rearrangement tasks across 119 diverse scenes, providing expert demonstrations generated by our newly developed M^3BenchMaker. This automatic data generation tool produces coordinated whole-body motion trajectories from high-level task instructions, requiring only basic scene and robot information. Our benchmark incorporates various task splits to assess generalization across different dimensions and leverages realistic physics simulation for trajectory evaluation. Through extensive experimental analyses, we reveal that state-of-the-art models still struggle with coordinated base-arm motion while adhering to environment-context and task-specific constraints, highlighting the need to develop new models that address this gap. Through M^3Bench, we aim to facilitate future robotics research towards more adaptive and capable mobile manipulation in diverse, real-world environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google