DexTransfer: Real World Multi-fingered Dexterous Grasping with Minimal Human Demonstrations

要約

多指の器用なロボットに実世界でオブジェクトをつかむように教えることは、その高次元の状態とアクション スペースのために困難な問題でした。
少数の人間のデモンストレーションを取り、部分的に遮られた観測が与えられたときに目に見えないオブジェクトの姿勢を把握することを学習できるロボット学習システムを提案します。
私たちのシステムは、小さなモーション キャプチャ データセットを活用し、多指ロボット グリッパーの多様で成功した軌跡を含む大きなデータセットを生成します。
ドメインのランダム化を追加することにより、データセットがポリシー学習者に転送できる堅牢な把握軌跡を提供することを示します。
オブジェクトの点群を入力として受け取り、さまざまな初期ロボット状態からオブジェクトをつかむための継続的なアクションを予測する器用な把握ポリシーをトレーニングします。
シミュレーションでは 22 自由度のフローティング Allegro Hand で、実世界では KUKA アームを備えた 23 自由度の Allegro ロボット ハンドでシステムの有効性を評価します。
データセットから学習したポリシーは、シミュレーションと現実世界の両方で目に見えないオブジェクトのポーズでうまく一般化できます

要約(オリジナル)

Teaching a multi-fingered dexterous robot to grasp objects in the real world has been a challenging problem due to its high dimensional state and action space. We propose a robot-learning system that can take a small number of human demonstrations and learn to grasp unseen object poses given partially occluded observations. Our system leverages a small motion capture dataset and generates a large dataset with diverse and successful trajectories for a multi-fingered robot gripper. By adding domain randomization, we show that our dataset provides robust grasping trajectories that can be transferred to a policy learner. We train a dexterous grasping policy that takes the point clouds of the object as input and predicts continuous actions to grasp objects from different initial robot states. We evaluate the effectiveness of our system on a 22-DoF floating Allegro Hand in simulation and a 23-DoF Allegro robot hand with a KUKA arm in real world. The policy learned from our dataset can generalize well on unseen object poses in both simulation and the real world

arxiv情報

提供元, 利用サービス

arxiv.jp, Google