MAPLE: Encoding Dexterous Robotic Manipulation Priors Learned From Egocentric Videos

要約

大規模なエゴセントリックビデオデータセットは、幅広いシナリオにわたって多様な人間の活動をキャプチャし、人間がオブジェクト、特に細かい器用な制御を必要とするオブジェクトとの相互作用について豊かで詳細な洞察を提供します。
正確なコントロールを備えたこのような複雑で器用なスキルは、多くのロボット操作タスクにとって非常に重要ですが、ロボット操作に対する従来のデータ駆動型アプローチでは不十分に対処されていることがよくあります。
このギャップに対処するために、大規模なエゴセントリックビデオデータセットから学んだ操作操作を活用して、器用なロボット操作タスクのポリシー学習を改善します。
Mapleは、効率的なポリシー学習と多様な複雑な操作タスクのより良いパフォーマンスを可能にするために、豊富な操作前のプライアーを悪用する器用なロボット操作の新しい方法です。
具体的には、ハンドオブジェクトの連絡先の瞬間にハンドオブジェクトの接点と詳細なハンドポーズを予測し、学習された機能を使用して、ダウンストリーム操作タスクのポリシーをトレーニングします。
実験結果は、既存のシミュレーションベンチマーク全体でメープルの有効性を示しています。また、新しく設計された一連の挑戦的なシミュレーションタスクを実証します。
メープルの利点は、器用なロボットハンドを使用した現実世界の実験でさらに強調されていますが、シミュレーションと実世界の実験の両方で同時の評価は、以前の研究では目立たないままです。

要約(オリジナル)

Large-scale egocentric video datasets capture diverse human activities across a wide range of scenarios, offering rich and detailed insights into how humans interact with objects, especially those that require fine-grained dexterous control. Such complex, dexterous skills with precise controls are crucial for many robotic manipulation tasks, yet are often insufficiently addressed by traditional data-driven approaches to robotic manipulation. To address this gap, we leverage manipulation priors learned from large-scale egocentric video datasets to improve policy learning for dexterous robotic manipulation tasks. We present MAPLE, a novel method for dexterous robotic manipulation that exploits rich manipulation priors to enable efficient policy learning and better performance on diverse, complex manipulation tasks. Specifically, we predict hand-object contact points and detailed hand poses at the moment of hand-object contact and use the learned features to train policies for downstream manipulation tasks. Experimental results demonstrate the effectiveness of MAPLE across existing simulation benchmarks, as well as a newly designed set of challenging simulation tasks, which require fine-grained object control and complex dexterous skills. The benefits of MAPLE are further highlighted in real-world experiments using a dexterous robotic hand, whereas simultaneous evaluation across both simulation and real-world experiments has remained underexplored in prior work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google