ID-Sculpt: ID-aware 3D Head Generation from Single In-the-wild Portrait Image

要約

最近の研究は画像から 3D オブジェクトへの生成で大きな成功を収めていますが、単一の画像から高品質かつ忠実な 3D ヘッドを生成することは依然として大きな課題です。
3D ヘッドを生成するための以前のテキストベースの方法は、テキストの説明によって制限され、画像ベースの方法では高品質のヘッド ジオメトリを生成するのが困難でした。
この困難な問題に対処するために、私たちはアイデンティティを維持しながら高品質の 3D ヘッドを生成する新しいフレームワーク ID-Sculpt を提案します。
私たちの作業では、ポートレート画像の識別情報を、1) ジオメトリの初期化、2) ジオメトリのスカルプティング、および 3) テクスチャ生成ステージの 3 つの部分に組み込みます。
参照ポートレート画像が与えられた場合、まず ID 特徴をテキスト特徴と位置合わせして、顔情報を表す制御信号を含む ID 対応ガイダンス強化を実現します。
次に、キャニー マップ、ポートレート画像の ID 特徴、および事前トレーニングされたテキストから法線/深度への拡散モデルを使用して、ID を認識したジオメトリ監視を生成し、3D-GAN 反転を使用して ID を認識したジオメトリ初期化を生成します。
。
さらに、3D ヘッドの生成に ID 情報を注入する機能により、ID を認識したガイダンスを使用して、ジオメトリ スカルプトの ID を認識したスコア蒸留 (ISD) を計算します。
テクスチャ生成には、テクスチャ修復のビューを段階的に拡張して初期化 UV テクスチャ マップを取得する ID 一貫性のあるテクスチャ修復とリファインメントを採用します。
次に、ID 認識ガイダンスを使用して、ノイズの多いマルチビュー画像を画像レベルで監視し、洗練されたテクスチャ マップを取得します。
広範な実験により、野生の 1 枚のポートレート画像から正確なジオメトリとテクスチャを備えた高品質の 3D ヘッドを生成できることが実証されました。

要約(オリジナル)

While recent works have achieved great success on image-to-3D object generation, high quality and fidelity 3D head generation from a single image remains a great challenge. Previous text-based methods for generating 3D heads were limited by text descriptions and image-based methods struggled to produce high-quality head geometry. To handle this challenging problem, we propose a novel framework, ID-Sculpt, to generate high-quality 3D heads while preserving their identities. Our work incorporates the identity information of the portrait image into three parts: 1) geometry initialization, 2) geometry sculpting, and 3) texture generation stages. Given a reference portrait image, we first align the identity features with text features to realize ID-aware guidance enhancement, which contains the control signals representing the face information. We then use the canny map, ID features of the portrait image, and a pre-trained text-to-normal/depth diffusion model to generate ID-aware geometry supervision, and 3D-GAN inversion is employed to generate ID-aware geometry initialization. Furthermore, with the ability to inject identity information into 3D head generation, we use ID-aware guidance to calculate ID-aware Score Distillation (ISD) for geometry sculpting. For texture generation, we adopt the ID Consistent Texture Inpainting and Refinement which progressively expands the view for texture inpainting to obtain an initialization UV texture map. We then use the ID-aware guidance to provide image-level supervision for noisy multi-view images to obtain a refined texture map. Extensive experiments demonstrate that we can generate high-quality 3D heads with accurate geometry and texture from a single in-the-wild portrait image.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google