M3Bench: Benchmarking Whole-body Motion Generation for Mobile Manipulation in 3D Scenes

要約

モバイル操作タスクにおける全身モーション生成のための新しいベンチマークであるM3Benchを提案します。
3Dシーンのコンテキストを考えると、M3Benchは、オブジェクト再配置の調整された全身運動軌跡を生成するために、その構成、環境制約、およびタスクの目的について推論するために具体化されたエージェントを必要とします。
M3Benchは、119の多様なシーンで30,000のオブジェクト再配置タスクを備えており、新しく開発されたM3Benchmakerによって生成された専門家のデモンストレーションを提供します。これは、基本的なシーンとロボット情報のみを使用して、高レベルのタスク命令から全身の動き軌跡を生成する自動データ生成ツールです。
私たちのベンチマークには、さまざまな次元にわたって一般化を評価するためのさまざまなタスクスプリットが含まれ、軌跡評価のために現実的な物理シミュレーションをレバレッジします。
広範な評価分析により、最先端のモデルは、環境およびタスク固有の制約を順守しながら、基本腕の動きの調整と闘い、このギャップを埋めるための新しいモデルの必要性を強調していることが明らかになりました。
M3BenchとM3BenchMakerをリリースすることにより、多様で現実世界の環境におけるより適応性があり、能力のあるモバイル操作に向けてロボット工学の研究を進めることを目指しています。

要約(オリジナル)

We propose M3Bench, a new benchmark for whole-body motion generation in mobile manipulation tasks. Given a 3D scene context, M3Bench requires an embodied agent to reason about its configuration, environmental constraints, and task objectives to generate coordinated whole-body motion trajectories for object rearrangement. M3Bench features 30,000 object rearrangement tasks across 119 diverse scenes, providing expert demonstrations generated by our newly developed M3BenchMaker, an automatic data generation tool that produces whole-body motion trajectories from high-level task instructions using only basic scene and robot information. Our benchmark includes various task splits to evaluate generalization across different dimensions and leverages realistic physics simulation for trajectory assessment. Extensive evaluation analysis reveals that state-of-the-art models struggle with coordinating base-arm motion while adhering to environmental and task-specific constraints, underscoring the need for new models to bridge this gap. By releasing M3Bench and M3BenchMaker we aim to advance robotics research toward more adaptive and capable mobile manipulation in diverse, real-world environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google