Learning to Transfer Human Hand Skills for Robot Manipulations

要約

人間の手の動きのデモンストレーションからロボットに器用な操作タスクを教える方法を紹介します。
ロボットとオブジェクトの相互作用の妥当性を考慮せずに運動学情報のみに依存する既存のアプローチとは異なり、私たちの方法は、人間の動作デモンストレーションから妥当なロボット操作アクションを直接推測します。
人間の手とロボット システムの間の実施形態のギャップに対処するために、私たちのアプローチでは、人間の手の動き、ロボットの手の動作、およびオブジェクトの動きを 3D でマッピングする関節動作多様体を学習し、ある動作コンポーネントを他の動作コンポーネントから推測できるようにします。
私たちの重要なアイデアは、人間、物体、ロボットの運動軌跡を合成的にペアにする擬似監視トリプレットの生成です。
ロボットハンド操作の実世界での実験を通じて、私たちのデータ駆動型リターゲティング手法が従来のリターゲティング手法を大幅に上回り、人間とロボットハンドの間の実施形態のギャップを効果的に埋めることを実証しました。
ウェブサイトは https://rureadyo.github.io/MocapRobot/ です。

要約(オリジナル)

We present a method for teaching dexterous manipulation tasks to robots from human hand motion demonstrations. Unlike existing approaches that solely rely on kinematics information without taking into account the plausibility of robot and object interaction, our method directly infers plausible robot manipulation actions from human motion demonstrations. To address the embodiment gap between the human hand and the robot system, our approach learns a joint motion manifold that maps human hand movements, robot hand actions, and object movements in 3D, enabling us to infer one motion component from others. Our key idea is the generation of pseudo-supervision triplets, which pair human, object, and robot motion trajectories synthetically. Through real-world experiments with robot hand manipulation, we demonstrate that our data-driven retargeting method significantly outperforms conventional retargeting techniques, effectively bridging the embodiment gap between human and robotic hands. Website at https://rureadyo.github.io/MocapRobot/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google