GenH2R: Learning Generalizable Human-to-Robot Handover via Scalable Simulation, Demonstration, and Imitation

要約

この論文では、一般化可能なビジョンベースの人間からロボットへの (H2R) ハンドオーバー スキルを学習するためのフレームワークである GenH2R について説明します。
目標は、さまざまな複雑な軌道で人間から渡された目に見えない形状を持つ物体を確実に受け取る能力をロボットに装備することです。
私たちは、手続き型シミュレーション資産の作成、自動デモ生成、効果的な模倣学習を含む包括的なソリューションを使用して H2R ハンドオーバーを大規模に学習することで、このような一般化可能性を獲得します。
私たちは、大規模な 3D モデル リポジトリ、巧みな把握生成方法、および曲線ベースの 3D アニメーションを活用して、\simabbns という名前の H2R ハンドオーバー シミュレーション環境を作成します。これは、既存のシミュレータのシーン数を 3 桁も上回ります。
さらに、学習に適した高品質なデモンストレーションを 100 万件自動生成する、蒸留に適したデモンストレーション生成方法を紹介します。
最後に、デモンストレーションを視覚と運動の引き継ぎポリシーに抽出するための将来予測目標によって強化された 4D 模倣学習方法を紹介します。
シミュレータと現実世界の両方での実験評価では、すべてのケースでベースラインと比較して大幅な改善 (少なくとも +10\% の成功率) が示されています。
プロジェクトページはhttps://GenH2R.github.io/です。

要約(オリジナル)

This paper presents GenH2R, a framework for learning generalizable vision-based human-to-robot (H2R) handover skills. The goal is to equip robots with the ability to reliably receive objects with unseen geometry handed over by humans in various complex trajectories. We acquire such generalizability by learning H2R handover at scale with a comprehensive solution including procedural simulation assets creation, automated demonstration generation, and effective imitation learning. We leverage large-scale 3D model repositories, dexterous grasp generation methods, and curve-based 3D animation to create an H2R handover simulation environment named \simabbns, surpassing the number of scenes in existing simulators by three orders of magnitude. We further introduce a distillation-friendly demonstration generation method that automatically generates a million high-quality demonstrations suitable for learning. Finally, we present a 4D imitation learning method augmented by a future forecasting objective to distill demonstrations into a visuo-motor handover policy. Experimental evaluations in both simulators and the real world demonstrate significant improvements (at least +10\% success rate) over baselines in all cases. The project page is https://GenH2R.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google