ClutterDexGrasp: A Sim-to-Real System for General Dexterous Grasping in Cluttered Scenes

要約

乱雑なシーンで器用な把握は、多様なオブジェクトの形状、閉塞、潜在的な衝突のために大きな課題をもたらします。
既存の方法は、主に、相互作用なしに単一オブジェクトの把握または把握予測に焦点を当てています。これは、複雑で散らかったシーンには不十分です。
最近のビジョン言語アクションモデルは潜在的なソリューションを提供しますが、広範な現実世界のデモンストレーションが必要であり、コストがかかり、スケーリングが困難になっています。
これらの制限に対処するために、SIMからリアルへの転送パイプラインを再検討し、堅牢な一般化を維持しながら、実際にゼロショットの展開を可能にする重要な技術を開発します。
ClutterDexgraspは、散らかったシーンで閉ループターゲット指向の器用な滑らかな握りのための2段階の教師と学生のフレームワークであることを提案します。
このフレームワークは、クラッター密度カリキュラム学習を使用してシミュレーションで訓練された教師ポリシーを特徴としています。新しい幾何学と空間的に包まれたシーン表現の両方を組み込み、包括的な安全カリキュラムを取り入れ、一般的でダイナミックな、安全な把握行動を可能にします。
模倣学習を通じて、教師の知識を、部分的な点クラウド観測で動作する学生3D拡散ポリシー（DP3）に蒸留します。
私たちの知る限り、これは、散らかったシーンでターゲット指向の器用な握りのための最初のゼロショットシムからリアルの閉ループシステムを表し、多様なオブジェクトとレイアウトにわたって堅牢なパフォーマンスを示しています。
詳細とビデオは、https：//clutterdexgrasp.github.io/をご覧ください。

要約(オリジナル)

Dexterous grasping in cluttered scenes presents significant challenges due to diverse object geometries, occlusions, and potential collisions. Existing methods primarily focus on single-object grasping or grasp-pose prediction without interaction, which are insufficient for complex, cluttered scenes. Recent vision-language-action models offer a potential solution but require extensive real-world demonstrations, making them costly and difficult to scale. To address these limitations, we revisit the sim-to-real transfer pipeline and develop key techniques that enable zero-shot deployment in reality while maintaining robust generalization. We propose ClutterDexGrasp, a two-stage teacher-student framework for closed-loop target-oriented dexterous grasping in cluttered scenes. The framework features a teacher policy trained in simulation using clutter density curriculum learning, incorporating both a novel geometry and spatially-embedded scene representation and a comprehensive safety curriculum, enabling general, dynamic, and safe grasping behaviors. Through imitation learning, we distill the teacher’s knowledge into a student 3D diffusion policy (DP3) that operates on partial point cloud observations. To the best of our knowledge, this represents the first zero-shot sim-to-real closed-loop system for target-oriented dexterous grasping in cluttered scenes, demonstrating robust performance across diverse objects and layouts. More details and videos are available at https://clutterdexgrasp.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google