FaceCraft4D: Animated 3D Facial Avatar Generation from a Single Image

要約

単一の画像から高品質でアニメーション可能な4Dアバターを生成するための新しいフレームワークを提示します。
最近の進歩により、4Dアバターの作成において有望な結果が示されていますが、既存の方法では広範なマルチビューデータが必要か、形状の精度とアイデンティティの一貫性を伴う闘いが必要です。
これらの制限に対処するために、形状、画像、ビデオの事前を活用する包括的なシステムを提案して、フルビューのアニメーション可能なアバターを作成します。
私たちのアプローチは、最初に3D-Ganの反転を通じて初期の粗い形状を取得します。
次に、画像拡散モデルの助けを借りてクロスビューの一貫性を得るために、深さ誘導ワーピング信号を使用してマルチビューテクスチャを強化します。
式アニメーションを処理するために、視点を越えて同期された運転信号を含むビデオを前に組み込みます。
さらに、4D再構成中にデータの矛盾を効果的に処理するための一貫した一貫性のあるトレーニングを導入します。
実験結果は、さまざまな視点や表現にわたって一貫性を維持しながら、以前のアートと比較して優れた品質を達成することを示しています。

要約(オリジナル)

We present a novel framework for generating high-quality, animatable 4D avatar from a single image. While recent advances have shown promising results in 4D avatar creation, existing methods either require extensive multiview data or struggle with shape accuracy and identity consistency. To address these limitations, we propose a comprehensive system that leverages shape, image, and video priors to create full-view, animatable avatars. Our approach first obtains initial coarse shape through 3D-GAN inversion. Then, it enhances multiview textures using depth-guided warping signals for cross-view consistency with the help of the image diffusion model. To handle expression animation, we incorporate a video prior with synchronized driving signals across viewpoints. We further introduce a Consistent-Inconsistent training to effectively handle data inconsistencies during 4D reconstruction. Experimental results demonstrate that our method achieves superior quality compared to the prior art, while maintaining consistency across different viewpoints and expressions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google