GraspXL: Generating Grasping Motions for Diverse Objects at Scale

要約

人間の手は、物体の特定の部分を掴んだり、目的の方向から近づいたりするなど、さまざまな物体と対話するための器用さを備えています。
さらに重要なことは、人間は、物体固有のスキルがなくても、あらゆる形状の物体を把握できることです。
最近の作品では、所望の進入方向や掴み領域などの単一の目的に従って掴み動作を合成します。
さらに、彼らは通常、トレーニングと推論中に高価な 3D ハンドオブジェクト データに依存するため、目に見えないオブジェクトの把握動作を大規模に合成する能力が制限されます。
この論文では、ポリシー学習フレームワーク GraspXL で、複数の動作目標、多様なオブジェクト形状、器用な手の形態にわたる手オブジェクト把握動作の生成を統合します。
目標は、把握可能領域、アプローチ時の進行方向、手首の回転、手の位置で構成されます。
3D の手とオブジェクトのインタラクション データを必要とせず、58 のオブジェクトでトレーニングされたポリシーは、500,000 を超える目に見えないオブジェクトの多様な把握モーションを 82.2% の成功率で堅牢に合成できます。
同時に、ポリシーは目的を遵守するため、オブジェクトごとに多様な把握を生成できます。
さらに、私たちのフレームワークがさまざまな器用な手に展開でき、再構築または生成されたオブジェクトを操作できることを示します。
私たちは手法を定量的および定性的に評価して、アプローチの有効性を示します。
私たちのモデルとコードが利用可能になります。

要約(オリジナル)

Human hands possess the dexterity to interact with diverse objects such as grasping specific parts of the objects and/or approaching them from desired directions. More importantly, humans can grasp objects of any shape without object-specific skills. Recent works synthesize grasping motions following single objectives such as a desired approach heading direction or a grasping area. Moreover, they usually rely on expensive 3D hand-object data during training and inference, which limits their capability to synthesize grasping motions for unseen objects at scale. In this paper, we unify the generation of hand-object grasping motions across multiple motion objectives, diverse object shapes and dexterous hand morphologies in a policy learning framework GraspXL. The objectives are composed of the graspable area, heading direction during approach, wrist rotation, and hand position. Without requiring any 3D hand-object interaction data, our policy trained with 58 objects can robustly synthesize diverse grasping motions for more than 500k unseen objects with a success rate of 82.2%. At the same time, the policy adheres to objectives, which enables the generation of diverse grasps per object. Moreover, we show that our framework can be deployed to different dexterous hands and work with reconstructed or generated objects. We quantitatively and qualitatively evaluate our method to show the efficacy of our approach. Our model and code will be available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google