Skinned Motion Retargeting with Dense Geometric Interaction Perception

要約

スキン付きキャラクタのモーション リターゲットを成功させるには、体のさまざまな部分間の幾何学的相互作用をキャプチャして維持することが重要です。
既存のアプローチでは、体のジオメトリを見落としたり、骨格運動のリターゲット後にジオメトリ補正ステージを追加したりすることがよくあります。
その結果、スケルトンの相互作用とジオメトリの修正の間に矛盾が生じ、ジッター、相互侵入、接触の不一致などの問題が発生します。
これらの課題に対処するために、モーション リターゲティングにおける密な幾何学的相互作用を直接モデル化する新しいリターゲティング フレームワーク MeshRet を導入します。
最初に、意味的に一貫したセンサー (SCS) を使用して、多様なメッシュ トポロジー全体で効果的な、キャラクター間の高密度メッシュ対応を確立します。
続いて、高密度メッシュ相互作用 (DMI) フィールドと呼ばれる新しい時空間表現を開発します。
このフィールドは、相互作用する SCS 特徴ベクトルのコレクションであり、物体形状間の接触および非接触の両方の相互作用を巧みに捕捉します。
リターゲット中に DMI フィールドを調整することにより、MeshRet はモーション セマンティクスを保存するだけでなく、自己相互侵入を防止し、コンタクトの保存を保証します。
公開されている Mixamo データセットと新しく収集された ScanRet データセットに対する広範な実験により、MeshRet が最先端のパフォーマンスを達成することが実証されました。
コードは https://github.com/abcyzj/MeshRet で入手できます。

要約(オリジナル)

Capturing and maintaining geometric interactions among different body parts is crucial for successful motion retargeting in skinned characters. Existing approaches often overlook body geometries or add a geometry correction stage after skeletal motion retargeting. This results in conflicts between skeleton interaction and geometry correction, leading to issues such as jittery, interpenetration, and contact mismatches. To address these challenges, we introduce a new retargeting framework, MeshRet, which directly models the dense geometric interactions in motion retargeting. Initially, we establish dense mesh correspondences between characters using semantically consistent sensors (SCS), effective across diverse mesh topologies. Subsequently, we develop a novel spatio-temporal representation called the dense mesh interaction (DMI) field. This field, a collection of interacting SCS feature vectors, skillfully captures both contact and non-contact interactions between body geometries. By aligning the DMI field during retargeting, MeshRet not only preserves motion semantics but also prevents self-interpenetration and ensures contact preservation. Extensive experiments on the public Mixamo dataset and our newly-collected ScanRet dataset demonstrate that MeshRet achieves state-of-the-art performance. Code available at https://github.com/abcyzj/MeshRet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google