GeneAvatar: Generic Expression-Aware Volumetric Head Avatar Editing from a Single Image

要約

最近、アニメーション化可能な頭部アバターのモデリングにおいて、さまざまな体積表現が爆発的に増加しているのを目の当たりにしました。
ただし、フレームワークが多様であるため、さまざまな表現間での 3D ヘッド アバター編集などの高レベルのアプリケーションをサポートする実用的な方法はありません。
この論文では、さまざまな 3DMM 駆動ボリュームヘッド アバターに普遍的に適用できる、一般的なアバター編集アプローチを提案します。
この目標を達成するために、私たちは、単一の画像から一貫した 3D 修正フィールドへの 2D 編集のリフトを可能にする、新しい表現認識修正生成モデルを設計します。
生成的変更プロセスの有効性を確保するために、大規模な頭部アバター モデルと 2D 顔テクスチャ編集ツールから知識を引き出すための表情依存の変更蒸留スキーム、モデルの収束を強化するための暗黙的な潜在空間ガイダンス、
そして、きめの細かいテクスチャ反転のためのセグメンテーションベースの損失再重み付け戦略。
広範な実験により、私たちの方法が複数の表現と視点にわたって高品質で一貫した結果を提供することが実証されています。
プロジェクトページ：https://zju3dv.github.io/geneavatar/

要約(オリジナル)

Recently, we have witnessed the explosive growth of various volumetric representations in modeling animatable head avatars. However, due to the diversity of frameworks, there is no practical method to support high-level applications like 3D head avatar editing across different representations. In this paper, we propose a generic avatar editing approach that can be universally applied to various 3DMM driving volumetric head avatars. To achieve this goal, we design a novel expression-aware modification generative model, which enables lift 2D editing from a single image to a consistent 3D modification field. To ensure the effectiveness of the generative modification process, we develop several techniques, including an expression-dependent modification distillation scheme to draw knowledge from the large-scale head avatar model and 2D facial texture editing tools, implicit latent space guidance to enhance model convergence, and a segmentation-based loss reweight strategy for fine-grained texture inversion. Extensive experiments demonstrate that our method delivers high-quality and consistent results across multiple expression and viewpoints. Project page: https://zju3dv.github.io/geneavatar/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google