Sequential Multi-Object Grasping with One Dexterous Hand

要約

マルチピンガーの手で複数のオブジェクトを連続的に把握することは、人間が手の器用さを完全に活用して複数のオブジェクトを囲むことができる日常生活で一般的です。
ただし、オブジェクトのジオメトリの多様性と、高度の手に必要な複雑な接触相互作用は、別のオブジェクトを囲みながら1つのオブジェクトを把握しながら、ロボットに挑戦するシーケンシャルなマルチオブジェクトグラップを把握します。
この論文では、4本指のアレグロ手でオブジェクトを連続的に把握するためのシステムであるSeqmultigraspを提案します。
2つのオブジェクトを順次把握し、手が1つのオブジェクトを完全に囲んでから持ち上げてから、最初のオブジェクトをドロップせずに2番目のオブジェクトをつかむことに焦点を当てます。
私たちのシステムは、最初にシングルオブジェクトの把握候補を合成します。そこでは、各把握は、手のリンクのサブセットのみを使用するように制約されます。
これらのグラスクは、物理シミュレーターで検証され、安定性と実現可能性を確保します。
次に、検証済みの単一オブジェクトの把握ポーズをマージして、マルチオブジェクトの把持構成を構築します。
現実世界の展開のために、ポイントクラウドを条件とする拡散モデルを訓練して、把握ポーズを提案し、それに続いてヒューリスティックベースの実行戦略を提案します。
シミュレーションの8ドルの時間8ドルのオブジェクトの組み合わせと、実際に$ 6 \ times 3 $オブジェクトの組み合わせを使用して、システムをテストします。
拡散ベースのGraspモデルは、1600のシミュレーション試験で65.8％の平均成功率と90の実世界の試験で56.7％を獲得し、マルチフィンガーの手での連続的なマルチオブジェクトグラストの有望なアプローチであることを示唆しています。
補足資料は、当社のプロジェクトWebサイトhttps：//hesic73.github.io/seqmultigraspで入手できます。

要約(オリジナル)

Sequentially grasping multiple objects with multi-fingered hands is common in daily life, where humans can fully leverage the dexterity of their hands to enclose multiple objects. However, the diversity of object geometries and the complex contact interactions required for high-DOF hands to grasp one object while enclosing another make sequential multi-object grasping challenging for robots. In this paper, we propose SeqMultiGrasp, a system for sequentially grasping objects with a four-fingered Allegro Hand. We focus on sequentially grasping two objects, ensuring that the hand fully encloses one object before lifting it and then grasps the second object without dropping the first. Our system first synthesizes single-object grasp candidates, where each grasp is constrained to use only a subset of the hand’s links. These grasps are then validated in a physics simulator to ensure stability and feasibility. Next, we merge the validated single-object grasp poses to construct multi-object grasp configurations. For real-world deployment, we train a diffusion model conditioned on point clouds to propose grasp poses, followed by a heuristic-based execution strategy. We test our system using $8 \times 8$ object combinations in simulation and $6 \times 3$ object combinations in real. Our diffusion-based grasp model obtains an average success rate of 65.8% over 1600 simulation trials and 56.7% over 90 real-world trials, suggesting that it is a promising approach for sequential multi-object grasping with multi-fingered hands. Supplementary material is available on our project website: https://hesic73.github.io/SeqMultiGrasp.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google