Weakly-supervised 3D Pose Transfer with Keypoints

要約

3D ポーズ転送の主な課題は次のとおりです。1) 同じポーズを実行する異なるキャラクターを含むペアのトレーニング データが不足している。
2) ターゲットメッシュからポーズと形状の情報を解きほぐす。
3) 異なるトポロジーのメッシュに適用するのが難しい。
したがって、我々は、これらの困難を克服するために、新しく弱く監視されたキーポイントベースのフレームワークを提案します。
具体的には、逆運動学を備えたトポロジに依存しないキーポイント検出器を使用して、ソース メッシュとターゲット メッシュ間の変換を計算します。
私たちの方法はキーポイントの監視のみを必要とし、異なるトポロジーのメッシュに適用でき、ターゲットに対して形状不変であるため、形状情報を転送せずにターゲットメッシュからポーズのみの情報を抽出できます。
さらに、ターゲットとソースとそれぞれ同じポーズと形状を持つグラウンド トゥルース変形メッシュを必要とせずに、自己教師ありポーズ転送を実行するサイクル再構成を設計します。
私たちは人間と動物のベンチマーク データセットでアプローチを評価し、最先端の教師なしアプローチと比較して優れたパフォーマンスを達成し、完全教師ありアプローチと比較しても同等のパフォーマンスを達成しました。
より困難な Mixamo データセットでテストを行い、さまざまなトポロジーや複雑な衣服を備えたメッシュを処理するアプローチの能力を検証します。
データセット間の評価は、私たちのアプローチの強力な一般化能力をさらに示しています。

要約(オリジナル)

The main challenges of 3D pose transfer are: 1) Lack of paired training data with different characters performing the same pose; 2) Disentangling pose and shape information from the target mesh; 3) Difficulty in applying to meshes with different topologies. We thus propose a novel weakly-supervised keypoint-based framework to overcome these difficulties. Specifically, we use a topology-agnostic keypoint detector with inverse kinematics to compute transformations between the source and target meshes. Our method only requires supervision on the keypoints, can be applied to meshes with different topologies and is shape-invariant for the target which allows extraction of pose-only information from the target meshes without transferring shape information. We further design a cycle reconstruction to perform self-supervised pose transfer without the need for ground truth deformed mesh with the same pose and shape as the target and source, respectively. We evaluate our approach on benchmark human and animal datasets, where we achieve superior performance compared to the state-of-the-art unsupervised approaches and even comparable performance with the fully supervised approaches. We test on the more challenging Mixamo dataset to verify our approach’s ability in handling meshes with different topologies and complex clothes. Cross-dataset evaluation further shows the strong generalization ability of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google