ACE: Adversarial Correspondence Embedding for Cross Morphology Motion Retargeting from Human to Nonhuman Characters

要約

モーション リターゲットは、人間以外のキャラクターに自然で魅力的なアニメーションを生成するための有望なアプローチです。
ただし、問題の性質があいまいであるため、人間の動きを、異なる形態を持つターゲット キャラクターの意味的に同等の動きに変換することは困難です。
この研究では、人間のモーションを異なる体の寸法と構造を持つターゲット キャラクターにリターゲットするための、新しい学習ベースのモーション リターゲティング フレームワークである Adversarial Correspondence Embedding (ACE) を紹介します。
私たちのフレームワークは、追加の機能損失を導入することで高レベルのモーション セマンティクスを維持しながら、敵対的生成ネットワーク (GAN) を活用することで、自然で実現可能なロボットのモーションを生成するように設計されています。
さらに、潜在的な埋め込み空間で制御可能なロボットの動作を事前学習し、コンパクトな対応関係の確立を目指します。
提案したフレームワークが 3 つの異なるキャラクター (マニピュレーターを備えた四足歩行ロボット、カニのキャラクター、車輪付きマニピュレーター) に対してリターゲットされたモーションを生成できることを実証します。
ベースライン比較とユーザー調査を実施することで、フレームワークの設計選択をさらに検証します。
また、リターゲットされたモーションを実際の Spot ロボットに転送することによる、シミュレーションからリアルへの転送も紹介します。

要約(オリジナル)

Motion retargeting is a promising approach for generating natural and compelling animations for nonhuman characters. However, it is challenging to translate human movements into semantically equivalent motions for target characters with different morphologies due to the ambiguous nature of the problem. This work presents a novel learning-based motion retargeting framework, Adversarial Correspondence Embedding (ACE), to retarget human motions onto target characters with different body dimensions and structures. Our framework is designed to produce natural and feasible robot motions by leveraging generative-adversarial networks (GANs) while preserving high-level motion semantics by introducing an additional feature loss. In addition, we pretrain a robot motion prior that can be controlled in a latent embedding space and seek to establish a compact correspondence. We demonstrate that the proposed framework can produce retargeted motions for three different characters — a quadrupedal robot with a manipulator, a crab character, and a wheeled manipulator. We further validate the design choices of our framework by conducting baseline comparisons and a user study. We also showcase sim-to-real transfer of the retargeted motions by transferring them to a real Spot robot.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google