ScrewMimic: Bimanual Imitation from Human Videos with Screw Space Projection

要約

両手操作は、自由度の数が多く、意味のある行動を生み出すためには空間的・時間的同期が厳密に要求されるため、ロボット工学における長年の課題となっている。人間は、他の人間を観察したり、遊びを通して能力を磨いたりすることで、両手操作のスキルを習得する。この研究では、ロボットが人間のビデオデモンストレーションから両手操作の動作を学習し、相互作用を通じてそれらを微調整できるようにすることを目指す。心理学とバイオメカニクスの主要な研究に触発され、我々は両手の間の相互作用を直列運動学的連結としてモデリングすることを提案する。我々は、この新しいアクション表現を活用し、人間のデモンストレーションからの学習と自己教師付きポリシーの微調整を容易にするフレームワークであるScrewMimicを紹介する。私たちの実験では、ScrewMimicが1つの人間のビデオデモンストレーションからいくつかの複雑な両手動作を学習できること、また、デモンストレーションを解釈し、両腕の元の運動空間で直接微調整を行うベースラインよりも優れていることを実証しています。詳細とビデオ結果については、https://robin-lab.cs.utexas.edu/ScrewMimic/

要約(オリジナル)

Bimanual manipulation is a longstanding challenge in robotics due to the large number of degrees of freedom and the strict spatial and temporal synchronization required to generate meaningful behavior. Humans learn bimanual manipulation skills by watching other humans and by refining their abilities through play. In this work, we aim to enable robots to learn bimanual manipulation behaviors from human video demonstrations and fine-tune them through interaction. Inspired by seminal work in psychology and biomechanics, we propose modeling the interaction between two hands as a serial kinematic linkage — as a screw motion, in particular, that we use to define a new action space for bimanual manipulation: screw actions. We introduce ScrewMimic, a framework that leverages this novel action representation to facilitate learning from human demonstration and self-supervised policy fine-tuning. Our experiments demonstrate that ScrewMimic is able to learn several complex bimanual behaviors from a single human video demonstration, and that it outperforms baselines that interpret demonstrations and fine-tune directly in the original space of motion of both arms. For more information and video results, https://robin-lab.cs.utexas.edu/ScrewMimic/

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL