MobileH2R: Learning Generalizable Human to Mobile Robot Handover Exclusively from Scalable and Diverse Synthetic Data

要約

このペーパーでは、一般化可能なビジョンベースの人間からモバイルロボットへのハンドオーバー (H2MR) スキルを学習するためのフレームワークである MobileH2R を紹介します。
従来の固定基地でのハンドオーバーとは異なり、このタスクでは、移動ロボットがその機動性によって可能になる広い作業スペースで物体を確実に受け取る必要があります。
私たちの重要な洞察は、一般化可能なハンドオーバー スキルは、実際のデモンストレーションを必要とせずに、高品質の合成データを使用してシミュレーターで開発できるということです。
これを達成するために、人間の多様な合成全身動作データを生成するためのスケーラブルなパイプライン、安全で模倣しやすいデモンストレーションを作成するための自動化方法、および大規模なデモンストレーションを閉ループポリシーに抽出するための効率的な 4D 模倣学習方法を提案します。
ベースアームの調整を行います。
シミュレーターと現実世界の両方での実験評価では、すべてのケースでベースライン手法と比べて大幅な改善 (少なくとも +15% の成功率) が示されています。
実験では、大規模で多様な合成データがロボット学習を大幅に強化することも検証されており、スケーラブルなフレームワークが強調されています。

要約(オリジナル)

This paper introduces MobileH2R, a framework for learning generalizable vision-based human-to-mobile-robot (H2MR) handover skills. Unlike traditional fixed-base handovers, this task requires a mobile robot to reliably receive objects in a large workspace enabled by its mobility. Our key insight is that generalizable handover skills can be developed in simulators using high-quality synthetic data, without the need for real-world demonstrations. To achieve this, we propose a scalable pipeline for generating diverse synthetic full-body human motion data, an automated method for creating safe and imitation-friendly demonstrations, and an efficient 4D imitation learning method for distilling large-scale demonstrations into closed-loop policies with base-arm coordination. Experimental evaluations in both simulators and the real world show significant improvements (at least +15% success rate) over baseline methods in all cases. Experiments also validate that large-scale and diverse synthetic data greatly enhances robot learning, highlighting our scalable framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google