TWIST: Teleoperated Whole-Body Imitation System

要約

ヒューマノイドロボットを全身で遠隔操作することは、汎用的なロボット知能を開発するための基本的なステップであり、人間の動作はすべての自由度を制御するための理想的なインターフェースを提供します。しかし、現在のほとんどのヒューマノイド遠隔操作システムは、協調的な全身行動を可能にするには程遠く、一般的には、孤立した運動や操作タスクに限定されています。我々は、全身運動模倣によるヒューマノイド遠隔操作システムであるTeleoperated Whole-Body Imitation System（TWIST）を紹介する。まず、人間のモーションキャプチャデータをヒューマノイドロボットにリターゲットすることで、参照モーションクリップを生成します。次に、強化学習と行動クローニング（RL+BC）を組み合わせて、ロバストで適応性が高く、応答性の高い全身コントローラを開発する。系統的な分析を通じて、特権的な未来のモーションフレームと実世界のモーションキャプチャ（MoCap）データを組み込むことで、追跡精度が向上することを実証する。TWISTにより、実世界のヒューマノイドロボットは、単一の統一されたニューラルネットワークコントローラを用いて、全身操作、脚操作、ロコモーション、表現運動にまたがる、これまでにない、多目的で、協調的な全身運動スキルを達成することができます。プロジェクトのウェブサイト：https://humanoid-teleop.github.io

要約(オリジナル)

Teleoperating humanoid robots in a whole-body manner marks a fundamental step toward developing general-purpose robotic intelligence, with human motion providing an ideal interface for controlling all degrees of freedom. Yet, most current humanoid teleoperation systems fall short of enabling coordinated whole-body behavior, typically limiting themselves to isolated locomotion or manipulation tasks. We present the Teleoperated Whole-Body Imitation System (TWIST), a system for humanoid teleoperation through whole-body motion imitation. We first generate reference motion clips by retargeting human motion capture data to the humanoid robot. We then develop a robust, adaptive, and responsive whole-body controller using a combination of reinforcement learning and behavior cloning (RL+BC). Through systematic analysis, we demonstrate how incorporating privileged future motion frames and real-world motion capture (MoCap) data improves tracking accuracy. TWIST enables real-world humanoid robots to achieve unprecedented, versatile, and coordinated whole-body motor skills–spanning whole-body manipulation, legged manipulation, locomotion, and expressive movement–using a single unified neural network controller. Our project website: https://humanoid-teleop.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL