Skinned Motion Retargeting with Residual Perception of Motion Semantics & Geometry

要約

スケルトン ジオメトリ レベルとシェイプ ジオメトリ レベルの両方で、ソースとターゲットの違いを適切に考慮しないと、適切なモーション リターゲットを行うことはできません。
この作業では、2 つのニューラル修正モジュールに依存する新しい Residual RETargeting ネットワーク (R2ET) 構造を提案し、ソースの動きをターゲットの骨格と形状に徐々に適合するように調整します。
特に、ソース モーション セマンティクスを保持するために、スケルトン対応モジュールが導入されています。
形状認識モジュールは、ターゲット文字の形状を認識して、相互侵入と接触ミスを減らすように設計されています。
これらの 2 つのモジュールは、モーション セマンティクスとジオメトリを明示的にモデル化する調査済みの距離ベースの損失によって駆動され、ソース モーションの残留モーション変更を学習して、後処理なしで 1 回の推論でもっともらしいリターゲット モーションを生成できます。
これら 2 つの変更のバランスをとるために、それらの間で線形補間を実行するためのバランシング ゲートをさらに提示します。
公開データセット Mixamo での広範な実験により、当社の R2ET が最先端のパフォーマンスを実現し、モーション セマンティクスの保持と相互侵入および接触消失の減衰との間で適切なバランスを提供することが実証されました。
コードは https://github.com/Kebii/R2ET で入手できます。

要約(オリジナル)

A good motion retargeting cannot be reached without reasonable consideration of source-target differences on both the skeleton and shape geometry levels. In this work, we propose a novel Residual RETargeting network (R2ET) structure, which relies on two neural modification modules, to adjust the source motions to fit the target skeletons and shapes progressively. In particular, a skeleton-aware module is introduced to preserve the source motion semantics. A shape-aware module is designed to perceive the geometries of target characters to reduce interpenetration and contact-missing. Driven by our explored distance-based losses that explicitly model the motion semantics and geometry, these two modules can learn residual motion modifications on the source motion to generate plausible retargeted motion in a single inference without post-processing. To balance these two modifications, we further present a balancing gate to conduct linear interpolation between them. Extensive experiments on the public dataset Mixamo demonstrate that our R2ET achieves the state-of-the-art performance, and provides a good balance between the preservation of motion semantics as well as the attenuation of interpenetration and contact-missing. Code is available at https://github.com/Kebii/R2ET.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google