Learning Continuous Grasping Function with a Dexterous Hand from Human Demonstrations

要約

陰関数を使用して、器用な手で操作するための把持動作を生成することを学習することを提案します。
連続時間入力により、モデルは連続的でスムーズな把握計画を生成できます。
提案されたモデルを Continuous Grasping Function (CGF) と名付けます。
CGF は、人間の 3D デモンストレーションを使用して、条件付き変分オートエンコーダーを使用した生成モデリングによって学習されます。
最初に、大規模な人間とオブジェクトの相互作用の軌跡を、モーション リターゲティングを介してロボットのデモに変換し、次にこれらのデモを使用して CGF をトレーニングします。
推論中に、CGF を使用してサンプリングを実行して、シミュレーターでさまざまな把持計画を生成し、成功したものを選択して実際のロボットに転送します。
多様な人間のデータでトレーニングすることにより、当社の CGF は、複数のオブジェクトを操作する一般化を可能にします。
以前の計画アルゴリズムと比較して、CGF はより効率的であり、実際の Allegro Hand での把持に移行すると、成功率が大幅に向上します。
私たちのプロジェクト ページは https://jianglongye.com/cgf にあります。

要約(オリジナル)

We propose to learn to generate grasping motion for manipulation with a dexterous hand using implicit functions. With continuous time inputs, the model can generate a continuous and smooth grasping plan. We name the proposed model Continuous Grasping Function (CGF). CGF is learned via generative modeling with a Conditional Variational Autoencoder using 3D human demonstrations. We will first convert the large-scale human-object interaction trajectories to robot demonstrations via motion retargeting, and then use these demonstrations to train CGF. During inference, we perform sampling with CGF to generate different grasping plans in the simulator and select the successful ones to transfer to the real robot. By training on diverse human data, our CGF allows generalization to manipulate multiple objects. Compared to previous planning algorithms, CGF is more efficient and achieves significant improvement on success rate when transferred to grasping with the real Allegro Hand. Our project page is available at https://jianglongye.com/cgf .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google