ArtiGrasp: Physically Plausible Synthesis of Bi-Manual Dexterous Grasping and Articulation

要約

我々は、掴みと関節運動を含む両手による手とオブジェクトのインタラクションを合成する新しい方法である ArtiGrasp を紹介します。
この作業は、手首の全体的な動きの多様性と、物体を表現するために必要な正確な指の制御により、困難を伴います。
ArtiGrasp は、強化学習と物理シミュレーションを利用して、グローバルおよびローカルの手のポーズを制御するポリシーをトレーニングします。
私たちのフレームワークは、単一の手のポーズの参照に基づいて、単一のポリシー内で把握と構文を統合します。
さらに、調音に必要な正確な指のコントロールを訓練しやすくするために、難易度を上げた学習カリキュラムを提示します。
静止物体の片手操作から始まり、両手と非静止物体を含むマルチエージェントのトレーニングに進みます。
私たちの方法を評価するために、動的オブジェクトの把握と関節動作を導入します。これは、オブジェクトを目標の関節ポーズにすることを含むタスクです。
この作業には、掴み、再配置、および関節運動が必要です。
このタスクに対する私たちの方法の有効性を示します。
さらに、私たちの方法が、既製の画像ベースのリグレッサーからノイズの多い手オブジェクトの姿勢推定を使用してモーションを生成できることを示します。

要約(オリジナル)

We present ArtiGrasp, a novel method to synthesize bi-manual hand-object interactions that include grasping and articulation. This task is challenging due to the diversity of the global wrist motions and the precise finger control that are necessary to articulate objects. ArtiGrasp leverages reinforcement learning and physics simulations to train a policy that controls the global and local hand pose. Our framework unifies grasping and articulation within a single policy guided by a single hand pose reference. Moreover, to facilitate the training of the precise finger control required for articulation, we present a learning curriculum with increasing difficulty. It starts with single-hand manipulation of stationary objects and continues with multi-agent training including both hands and non-stationary objects. To evaluate our method, we introduce Dynamic Object Grasping and Articulation, a task that involves bringing an object into a target articulated pose. This task requires grasping, relocation, and articulation. We show our method’s efficacy towards this task. We further demonstrate that our method can generate motions with noisy hand-object pose estimates from an off-the-shelf image-based regressor.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google