ManipTrans: Efficient Dexterous Bimanual Manipulation Transfer via Residual Learning

要約

人間の手は相互作用する上で中心的な役割を果たし、器用なロボット操作の増加する研究を動機づけます。
データ駆動型の具体化されたAIアルゴリズムは、従来の強化学習または現実世界のテレオ操作で取得するのが難しい、正確で大規模な人間のような操作シーケンスを必要とします。
これに対処するために、シミュレーションで人間の両手スキルを器用なロボットハンドに効率的に転送するための新しい2段階の方法であるManiptransを紹介します。
マニプトランは、最初に手の動きを模倣するためのジェネラリストの軌跡の模倣者を事前に操作し、次に相互作用の制約の下で特定の残差モジュールを微調整し、複雑な双方向タスクの効率的な学習と正確な実行を可能にします。
実験は、マニプトランが成功率、忠実度、効率の最先端の方法を上回ることを示しています。
マニプトランを活用して、複数のハンドオブジェクトデータセットをロボットハンドに転送し、ペンキャッピングやボトルの外弾などの以前の未開拓のタスクを備えた大規模なデータセットであるDexManipNetを作成します。
Dexmanipnetは、ロボット操作の3.3Kエピソードで構成されており、簡単に拡張でき、巧妙な手のさらなるポリシートレーニングを促進し、現実世界の展開を可能にします。

要約(オリジナル)

Human hands play a central role in interacting, motivating increasing research in dexterous robotic manipulation. Data-driven embodied AI algorithms demand precise, large-scale, human-like manipulation sequences, which are challenging to obtain with conventional reinforcement learning or real-world teleoperation. To address this, we introduce ManipTrans, a novel two-stage method for efficiently transferring human bimanual skills to dexterous robotic hands in simulation. ManipTrans first pre-trains a generalist trajectory imitator to mimic hand motion, then fine-tunes a specific residual module under interaction constraints, enabling efficient learning and accurate execution of complex bimanual tasks. Experiments show that ManipTrans surpasses state-of-the-art methods in success rate, fidelity, and efficiency. Leveraging ManipTrans, we transfer multiple hand-object datasets to robotic hands, creating DexManipNet, a large-scale dataset featuring previously unexplored tasks like pen capping and bottle unscrewing. DexManipNet comprises 3.3K episodes of robotic manipulation and is easily extensible, facilitating further policy training for dexterous hands and enabling real-world deployments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google