λ: A Benchmark for Data-Efficiency in Long-Horizon Indoor Mobile Manipulation Robotics

要約

長期にわたるモバイル操作 (MoMa) タスクを効率的に学習して実行することは、家庭や職場の環境でロボット工学を進歩させるために非常に重要です。
しかし、現在の MoMa モデルはデータ効率が低く、効率を評価するために現実的なサイズのベンチマークを必要とする改良されたモデルの必要性が強調されていますが、そのベンチマークは存在しません。
これに対処するために、言語条件付き、長期、マルチルーム、
管理しやすいサイズのデータ​​セットを使用した、複数のフロアのピック アンド プレイス タスク。収集がより現実的です。
このベンチマークには、人間が収集した 571 個のデモンストレーションが含まれており、シミュレートされた現実世界の設定でリアリズムと多様性を提供します。
プランナーが生成したデータとは異なり、これらの軌跡は自然な変動性と再生検証可能性を提供し、堅牢な学習と評価を保証します。
私たちは、学習ベースのモデルや、基礎モデルとタスクおよび動作計画を組み合わせた神経記号モジュール式アプローチなど、いくつかのモデルをベンチマークします。
学習ベースのモデルは、事前トレーニングされた重みを活用した場合でも、最適とは言えない成功率を示し、データの大幅な非効率性を浮き彫りにしています。
ただし、ニューロシンボリックアプローチは、データ効率が高く、パフォーマンスが大幅に向上します。
調査結果は、よりデータ効率の高い学習ベースの MoMa アプローチの必要性を浮き彫りにしています。
{\lambda} は、家庭用ロボットのタスクを処理する際の将来のモデルのデータ効率を評価するための重要なベンチマークとして機能することで、このギャップに対処します。

要約(オリジナル)

Efficiently learning and executing long-horizon mobile manipulation (MoMa) tasks is crucial for advancing robotics in household and workplace settings. However, current MoMa models are data-inefficient, underscoring the need for improved models that require realistic-sized benchmarks to evaluate their efficiency, which do not exist. To address this, we introduce the LAMBDA ({\lambda}) benchmark (Long-horizon Actions for Mobile-manipulation Benchmarking of Directed Activities), which evaluates the data efficiency of models on language-conditioned, long-horizon, multi-room, multi-floor, pick-and-place tasks using a dataset of manageable size, more feasible for collection. The benchmark includes 571 human-collected demonstrations that provide realism and diversity in simulated and real-world settings. Unlike planner-generated data, these trajectories offer natural variability and replay-verifiability, ensuring robust learning and evaluation. We benchmark several models, including learning-based models and a neuro-symbolic modular approach combining foundation models with task and motion planning. Learning-based models show suboptimal success rates, even when leveraging pretrained weights, underscoring significant data inefficiencies. However, the neuro-symbolic approach performs significantly better while being more data efficient. Findings highlight the need for more data-efficient learning-based MoMa approaches. {\lambda} addresses this gap by serving as a key benchmark for evaluating the data efficiency of those future models in handling household robotics tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google