Unsupervised 3D Pose Transfer with Cross Consistency and Dual Reconstruction

要約

3D ポーズ転送の目的は、ターゲット メッシュの識別情報 (顔、体型など) を保持しながら、ソース メッシュからターゲット メッシュにポーズを転送することです。
ディープ ラーニング ベースの手法により、3D ポーズ転送の効率とパフォーマンスが向上しました。
ただし、それらのほとんどは、現実世界のシナリオでの可用性が制限されているグラウンド トゥルースの監督下でトレーニングされています。
この作業では、教師なし 3D ポーズ転送を可能にするシンプルで効果的なアプローチである X-DualNet を紹介します。
X-DualNet では、3D ポーズ転送を実現するための対応学習モジュールとポーズ転送モジュールを含むジェネレータ $G$ を導入します。
キーポイントの注釈なしで最適な輸送問題を解くことによって形状の対応を学習し、ポーズ転送モジュールのエラスティック インスタンス正規化 (ElaIN) を使用して高品質のメッシュを生成します。
基本コンポーネントとして $G$ を使用して、相互整合性学習スキームと、監視なしでポーズ転送を学習するための二重再構成目標を提案します。
それに加えて、生成された結果のボディ シェイプを微調整するために、トレーニング プロセスで可能な限り剛性の高いデフォーマを採用しています。
人間と動物のデータに関する広範な実験は、私たちのフレームワークが最先端の教師付きアプローチと同等のパフォーマンスを首尾よく達成できることを示しています。

要約(オリジナル)

The goal of 3D pose transfer is to transfer the pose from the source mesh to the target mesh while preserving the identity information (e.g., face, body shape) of the target mesh. Deep learning-based methods improved the efficiency and performance of 3D pose transfer. However, most of them are trained under the supervision of the ground truth, whose availability is limited in real-world scenarios. In this work, we present X-DualNet, a simple yet effective approach that enables unsupervised 3D pose transfer. In X-DualNet, we introduce a generator $G$ which contains correspondence learning and pose transfer modules to achieve 3D pose transfer. We learn the shape correspondence by solving an optimal transport problem without any key point annotations and generate high-quality meshes with our elastic instance normalization (ElaIN) in the pose transfer module. With $G$ as the basic component, we propose a cross consistency learning scheme and a dual reconstruction objective to learn the pose transfer without supervision. Besides that, we also adopt an as-rigid-as-possible deformer in the training process to fine-tune the body shape of the generated results. Extensive experiments on human and animal data demonstrate that our framework can successfully achieve comparable performance as the state-of-the-art supervised approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google