Leveraging Pretrained Latent Representations for Few-Shot Imitation Learning on a Dexterous Robotic Hand

要約

器用なロボットハンドに模倣学習を適用するという状況では、システムの複雑さが高いため、複雑な操作タスクの学習が困難になります。
しかし、さまざまな異なるタスクにおける人間の手を描いた多数のデータセットは、人間の手の動きに関するより良い知識を提供してくれる可能性があります。
我々は、複数の大規模なタスクに依存しないデータセットを活用して、トランスフォーマーベースの動作クローン作成手法に含めた運動サブトラジェクトリを効果的にエンコードする潜在表現を取得する方法を提案します。
私たちの結果は、潜在表現を採用すると、特に知覚と固有受容におけるエラーやノイズに対する回復力に関して、従来の行動複製手法と比較してパフォーマンスが向上することを示しています。
さらに、提案されたアプローチは人間のデモンストレーションのみに依存しているため、遠隔操作の必要性がなくなり、データ収集プロセスが加速されます。
指先リターゲットのための正確な逆運動学により、人間の手のデータからロボットへの正確な転送が保証され、操作ポリシーの効果的な学習と展開が容易になります。
最後に、トレーニングされたポリシーが現実世界の 23Dof ロボット システムに正常に転送されました。

要約(オリジナル)

In the context of imitation learning applied to dexterous robotic hands, the high complexity of the systems makes learning complex manipulation tasks challenging. However, the numerous datasets depicting human hands in various different tasks could provide us with better knowledge regarding human hand motion. We propose a method to leverage multiple large-scale task-agnostic datasets to obtain latent representations that effectively encode motion subtrajectories that we included in a transformer-based behavior cloning method. Our results demonstrate that employing latent representations yields enhanced performance compared to conventional behavior cloning methods, particularly regarding resilience to errors and noise in perception and proprioception. Furthermore, the proposed approach solely relies on human demonstrations, eliminating the need for teleoperation and, therefore, accelerating the data acquisition process. Accurate inverse kinematics for fingertip retargeting ensures precise transfer from human hand data to the robot, facilitating effective learning and deployment of manipulation policies. Finally, the trained policies have been successfully transferred to a real-world 23Dof robotic system.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google