RobustDexGrasp: Robust Dexterous Grasping of General Objects from Single-view Perception

要約

単一ビューの知覚からのさまざまなオブジェクトの堅牢な把握は、器用なロボットの基本です。
以前の作品は、多くの場合、完全に観察可能なオブジェクト、専門家のデモ、または静的な把握ポーズに依存しています。
このペーパーでは、外部の障害に適応的な動きを実行しながら、単一ビューの知覚から幅広い目に見えないオブジェクトのゼロショットの動的な器用な把握を可能にする強化学習ベースのフレームワークを紹介します。
相互作用に関連する局所形状を強調する形状特徴抽出のための手中心のオブジェクト表現を利用し、堅牢性を高めて形状の分散と不確実性を高めます。
限られた観察結果の妨害への効果的な手の適応を可能にするために、最初に特権的なリアルタイムの視覚触覚フィードバックで訓練されたポリシーを蒸留するために模倣学習を利用し、観察のノイズと動的なランダム化によって引き起こされる障害の下での適応運動の学習を徐々に転送するために模倣学習を利用することを提案します。
私たちの実験は、ランダムなポーズで目に見えないオブジェクトを把握する際の強力な一般化を示し、247,786のシミュレートされたオブジェクトで97.0％、512の実際のオブジェクトで94.6％の成功率を達成します。
また、定量的評価と定性的評価の両方を通じて、観察されていないオブジェクトの動きや外力を含むさまざまな妨害に対する方法の堅牢性を示します。
プロジェクトページ：https：//zdchan.github.io/robust_dexgrasp/

要約(オリジナル)

Robust grasping of various objects from single-view perception is fundamental for dexterous robots. Previous works often rely on fully observable objects, expert demonstrations, or static grasping poses, which restrict their generalization ability and adaptability to external disturbances. In this paper, we present a reinforcement-learning-based framework that enables zero-shot dynamic dexterous grasping of a wide range of unseen objects from single-view perception, while performing adaptive motions to external disturbances. We utilize a hand-centric object representation for shape feature extraction that emphasizes interaction-relevant local shapes, enhancing robustness to shape variance and uncertainty. To enable effective hand adaptation to disturbances with limited observations, we propose a mixed curriculum learning strategy, which first utilizes imitation learning to distill a policy trained with privileged real-time visual-tactile feedback, and gradually transfers to reinforcement learning to learn adaptive motions under disturbances caused by observation noises and dynamic randomization. Our experiments demonstrate strong generalization in grasping unseen objects with random poses, achieving success rates of 97.0% across 247,786 simulated objects and 94.6% across 512 real objects. We also demonstrate the robustness of our method to various disturbances, including unobserved object movement and external forces, through both quantitative and qualitative evaluations. Project Page: https://zdchan.github.io/Robust_DexGrasp/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google