RobustDexGrasp: Robust Dexterous Grasping of General Objects

要約

さまざまなオブジェクトを堅牢に把握する能力は、器用なロボットに不可欠です。
このホワイトペーパーでは、さまざまな障害に復元されるように設計された、シングルビュービジュアル入力を使用して、ゼロショットの動的器用な粒子を把握するためのフレームワークを紹介します。
私たちのアプローチは、指の関節とオブジェクト表面の間の動的距離ベクトルに基づいて、手中心のオブジェクト形状表現を利用しています。
この表現は、詳細なグローバルオブジェクトジオメトリに焦点を合わせるのではなく、潜在的な接触領域の周りの局所形状をキャプチャし、それにより、変動と不確実性を形成するための一般化を強化します。
知覚の制限に対処するために、特権教師ポリシーを混合カリキュラム学習アプローチと統合し、生徒のポリシーが把握能力を効果的に蒸留し、障害への適応を探求できるようにします。
シミュレーションのトレーニングを受けたこの方法は、247,786のシミュレートされたオブジェクトで97.0％、512の実際のオブジェクトで94.6％の成功率を達成し、顕著な一般化を示しています。
定量的および定性的な結果は、さまざまな妨害に対するポリシーの堅牢性を検証します。

要約(オリジナル)

The ability to robustly grasp a variety of objects is essential for dexterous robots. In this paper, we present a framework for zero-shot dynamic dexterous grasping using single-view visual inputs, designed to be resilient to various disturbances. Our approach utilizes a hand-centric object shape representation based on dynamic distance vectors between finger joints and object surfaces. This representation captures the local shape around potential contact regions rather than focusing on detailed global object geometry, thereby enhancing generalization to shape variations and uncertainties. To address perception limitations, we integrate a privileged teacher policy with a mixed curriculum learning approach, allowing the student policy to effectively distill grasping capabilities and explore for adaptation to disturbances. Trained in simulation, our method achieves success rates of 97.0% across 247,786 simulated objects and 94.6% across 512 real objects, demonstrating remarkable generalization. Quantitative and qualitative results validate the robustness of our policy against various disturbances.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google