DexH2R: Task-oriented Dexterous Manipulation from Human to Robots

要約

器用な操作は人間の能力の重要な側面であり、さまざまなオブジェクトとの対話を可能にします。
人間のデモンストレーションや遠隔操作からの学習における最近の進歩により、ロボットのそのような能力の進歩が可能になりました。
ただし、これらのアプローチは、目とロボットの接触のためのコストのかかる人間の労力などの複雑なデータ収集を必要とするか、新しいシナリオに直面したときに一般化が不十分であるかのいずれかです。
両方の課題を解決するために、人間の手の動きのリターゲティングとタスク指向の残余アクション ポリシーを組み合わせたフレームワーク DexH2R を提案します。これにより、人間とロボットの器用な手の具現化のギャップを埋めることでタスクのパフォーマンスが向上します。
具体的には、DexH2R は、再ターゲットされたプリミティブ アクションとタスク指向の報酬から直接残留ポリシーを学習し、労働集約的な遠隔操作システムの必要性を排除します。
さらに、人間の手や物体の望ましい軌跡を取り込むことで、新しいシナリオに向けたテスト時のガイダンスを組み込んでおり、器用な手でも汎用性の高い新しいスキルを習得できます。
シミュレーション環境と現実世界の環境の両方での広範な実験により、さまざまな設定において以前の最先端技術を 40% 上回るパフォーマンスを示し、当社の研究の有効性が実証されました。

要約(オリジナル)

Dexterous manipulation is a critical aspect of human capability, enabling interaction with a wide variety of objects. Recent advancements in learning from human demonstrations and teleoperation have enabled progress for robots in such ability. However, these approaches either require complex data collection such as costly human effort for eye-robot contact, or suffer from poor generalization when faced with novel scenarios. To solve both challenges, we propose a framework, DexH2R, that combines human hand motion retargeting with a task-oriented residual action policy, improving task performance by bridging the embodiment gap between human and robotic dexterous hands. Specifically, DexH2R learns the residual policy directly from retargeted primitive actions and task-oriented rewards, eliminating the need for labor-intensive teleoperation systems. Moreover, we incorporate test-time guidance for novel scenarios by taking in desired trajectories of human hands and objects, allowing the dexterous hand to acquire new skills with high generalizability. Extensive experiments in both simulation and real-world environments demonstrate the effectiveness of our work, outperforming prior state-of-the-arts by 40% across various settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google