Object-Centric Dexterous Manipulation from Human Motion Data

要約

オブジェクトを操作して目的の目標状態を達成することは、器用な操作にとって基本的ですが重要なスキルです。
人間の手の動きは熟練した操作能力を実証し、複数の指を持つロボットを訓練するための貴重なデータを提供します。
この可能性にもかかわらず、人間とロボットの手の間の実施形態のギャップにより、大きな課題が生じます。
この研究では、オブジェクト中心の器用なロボット操作を訓練するために人間の手の動きデータを使用する階層型ポリシー学習フレームワークを紹介します。
私たちの手法の中核となるのは、大規模な人間の手のモーション キャプチャ データセットで学習された高レベルの軌道生成モデルで、目的のオブジェクトの目標状態を条件とした人間のような手首の動きを合成します。
生成された手首の動きに導かれ、深層強化学習をさらに使用して、ロボットの実施形態に接地された低レベルの指コントローラーを訓練して、目標を達成するためにオブジェクトと物理的に相互作用します。
10 個の家庭用オブジェクトにわたる広範な評価を通じて、私たちのアプローチは優れたパフォーマンスを実証するだけでなく、新しいオブジェクトの形状と目標状態への一般化機能も示します。
さらに、学習したポリシーをシミュレーションから現実世界の両手利きの器用なロボット システムに転送し、現実世界のシナリオへの適用可能性をさらに実証します。
プロジェクトの Web サイト: https://cypypccpy.github.io/obj-dex.github.io/。

要約(オリジナル)

Manipulating objects to achieve desired goal states is a basic but important skill for dexterous manipulation. Human hand motions demonstrate proficient manipulation capability, providing valuable data for training robots with multi-finger hands. Despite this potential, substantial challenges arise due to the embodiment gap between human and robot hands. In this work, we introduce a hierarchical policy learning framework that uses human hand motion data for training object-centric dexterous robot manipulation. At the core of our method is a high-level trajectory generative model, learned with a large-scale human hand motion capture dataset, to synthesize human-like wrist motions conditioned on the desired object goal states. Guided by the generated wrist motions, deep reinforcement learning is further used to train a low-level finger controller that is grounded in the robot’s embodiment to physically interact with the object to achieve the goal. Through extensive evaluation across 10 household objects, our approach not only demonstrates superior performance but also showcases generalization capability to novel object geometries and goal states. Furthermore, we transfer the learned policies from simulation to a real-world bimanual dexterous robot system, further demonstrating its applicability in real-world scenarios. Project website: https://cypypccpy.github.io/obj-dex.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google