Spatio-Temporal Motion Retargeting for Quadruped Robots

要約

この研究では、動物の細かい行動を模倣するモーション コントローラーを作成することを目的として、脚式ロボットのモーション リターゲティング アプローチを導入しています。
私たちのアプローチ、すなわち時空間モーション リターゲティング (STMR) は、モーションをソースからターゲットに転送することで模倣学習手順を導き、ターゲット システムでの模倣の実現可能性を確保することで形態学的差異を効果的に橋渡しします。
当社の STMR 手法は、空間モーション リターゲティング (SMR) と時間モーション リターゲティング (TMR) の 2 つのコンポーネントで構成されます。
一方で、SMR は、キーポイントの軌道から運動学的に実現可能な全身の動きを生成することにより、運動学的レベルでのモーションのリターゲットに取り組みます。
一方、TMR は、時間領域で動きを最適化することで、動的レベルで動きを再ターゲットすることを目的としています。
一連のシミュレーションとハードウェア実験を通じて、複雑な動物の動きの模倣学習 (IL) を促進する方法の有効性を紹介します。
これらの実験では、当社の STMR 手法は、手持ちカメラで撮影したビデオなど、さまざまなメディアから複雑な動物の動きを調整して、ターゲット ロボットの形態や物理的特性に適合させることに成功しました。
これにより、ベースライン手法では飛行フェーズを含む非常に動的な動きに苦労する一方で、正確な動き追跡のための RL ポリシー トレーニングが可能になりました。
さらに、制御ポリシーが、現実世界の設定において、寸法と物理的特性が異なる 2 台の四足ロボットの 6 つの異なる動作を首尾よく模倣できることを検証しました。

要約(オリジナル)

This work introduces a motion retargeting approach for legged robots, which aims to create motion controllers that imitate the fine behavior of animals. Our approach, namely spatio-temporal motion retargeting (STMR), guides imitation learning procedures by transferring motion from source to target, effectively bridging the morphological disparities by ensuring the feasibility of imitation on the target system. Our STMR method comprises two components: spatial motion retargeting (SMR) and temporal motion retargeting (TMR). On the one hand, SMR tackles motion retargeting at the kinematic level by generating kinematically feasible whole-body motions from keypoint trajectories. On the other hand, TMR aims to retarget motion at the dynamic level by optimizing motion in the temporal domain. We showcase the effectiveness of our method in facilitating Imitation Learning (IL) for complex animal movements through a series of simulation and hardware experiments. In these experiments, our STMR method successfully tailored complex animal motions from various media, including video captured by a hand-held camera, to fit the morphology and physical properties of the target robots. This enabled RL policy training for precise motion tracking, while baseline methods struggled with highly dynamic motion involving flying phases. Moreover, we validated that the control policy can successfully imitate six different motions in two quadruped robots with different dimensions and physical properties in real-world settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google