Dexterous Functional Pre-Grasp Manipulation with Diffusion Policy

要約

実世界のシナリオでは、物体を把持する前に位置や向きを変える必要があることが多く、このプロセスは把持前操作として知られている。把持前操作を器用に機能的に学習するには、手と物体の相対的な位置、向き、接触を正確に制御する必要があり、同時に、物体や目標のポーズが変化する多様な動的シナリオに汎化する必要がある。この課題に対処するために、我々は、エージェントが3つの重要な基準を共同で最適化するようにインセンティブを与える、新しい相互報酬を利用した教師-生徒学習アプローチを提案する。さらに、多様な操作方針を学習するために専門家の混合戦略を採用し、その後、これらの専門家から複雑な行動分布を捕捉するために拡散方針を採用するパイプラインを導入する。我々の手法は、外在的な器用さを活用し、フィードバックから調整することで、30以上の物体カテゴリにおいて72.6%の成功率を達成した。

要約(オリジナル)

In real-world scenarios, objects often require repositioning and reorientation before they can be grasped, a process known as pre-grasp manipulation. Learning universal dexterous functional pre-grasp manipulation requires precise control over the relative position, orientation, and contact between the hand and object while generalizing to diverse dynamic scenarios with varying objects and goal poses. To address this challenge, we propose a teacher-student learning approach that utilizes a novel mutual reward, incentivizing agents to optimize three key criteria jointly. Additionally, we introduce a pipeline that employs a mixture-of-experts strategy to learn diverse manipulation policies, followed by a diffusion policy to capture complex action distributions from these experts. Our method achieves a success rate of 72.6\% across more than 30 object categories by leveraging extrinsic dexterity and adjusting from feedback.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL