Unsupervised 3D Pose Transfer with Cross Consistency and Dual Reconstruction

要約

3Dポーズ転送の目的は、ターゲットメッシュのアイデンティティ情報（例：顔、体型）を保持したまま、ソースメッシュからターゲットメッシュにポーズを転送することである。ディープラーニングを用いた手法は、3Dポーズ転送の効率と性能を向上させました。しかし、それらのほとんどは、実世界のシナリオで利用可能性が制限されているグランドトゥルースの監督の下で訓練されている。本研究では、教師なし3Dポーズ転送を可能にするシンプルかつ効果的なアプローチであるX-DualNetを紹介します。X-DualNetでは、3Dポーズ転送を実現するために、対応関係学習とポーズ転送モジュールを含む生成器$G$を導入する。形状対応学習では、キーポイントのアノテーションを用いない最適輸送問題を解くことにより、形状対応関係を学習し、姿勢伝達モジュールでは、我々が開発した弾性インスタンス正規化（ElaIN）により、高品質なメッシュを生成する。G$を基本要素として、クロスコンシステンシー学習方式と二重再構成目的を提案し、監視無しでポーズ転送を学習する。そのほか、生成結果の体型を微調整するために、学習過程でas-rigid-as-possible deformerを採用する。人間と動物のデータを用いた広範な実験により、我々のフレームワークが、最先端の教師ありアプローチと同等の性能を達成できることを実証する。

要約(オリジナル)

The goal of 3D pose transfer is to transfer the pose from the source mesh to the target mesh while preserving the identity information (e.g., face, body shape) of the target mesh. Deep learning-based methods improved the efficiency and performance of 3D pose transfer. However, most of them are trained under the supervision of the ground truth, whose availability is limited in real-world scenarios. In this work, we present X-DualNet, a simple yet effective approach that enables unsupervised 3D pose transfer. In X-DualNet, we introduce a generator $G$ which contains correspondence learning and pose transfer modules to achieve 3D pose transfer. We learn the shape correspondence by solving an optimal transport problem without any key point annotations and generate high-quality meshes with our elastic instance normalization (ElaIN) in the pose transfer module. With $G$ as the basic component, we propose a cross consistency learning scheme and a dual reconstruction objective to learn the pose transfer without supervision. Besides that, we also adopt an as-rigid-as-possible deformer in the training process to fine-tune the body shape of the generated results. Extensive experiments on human and animal data demonstrate that our framework can successfully achieve comparable performance as the state-of-the-art supervised approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL