Towards High-Fidelity 3D Portrait Generation with Rich Details by Cross-View Prior-Aware Diffusion

要約

最近の拡散ベースの単一画像 3D ポートレート生成方法では、通常、2D 拡散モデルを使用してマルチビューの知識を提供し、それを 3D 表現に蒸留します。
ただし、これらの方法では通常、忠実度の高い 3D モデルを作成するのが難しく、過度にぼやけたテクスチャが生成されることがよくあります。
この問題は、拡散プロセス中のビュー間の一貫性の考慮が不十分であることが原因であり、その結果、異なるビュー間で大きな差異が生じ、最終的には 3D 表現が不鮮明になることに起因すると考えられます。
この論文では、コンディショニング手順と拡散手順の両方でマルチビュー プリアを包括的に利用して、一貫性のある細部に富んだポートレートを生成することで、この問題に対処します。
条件付けの観点から、生成されたマルチビュー ポートレートのステータスの一貫性を高めるための条件としてマルチビュー プリアを明示的および暗黙的に組み込むハイブリッド プライア拡散モデルを提案します。
拡散の観点から、詳細なテクスチャ生成に対する拡散ノイズ分布の重大な影響を考慮して、クロスビューの事前分布を活用して表現の一貫性を高める最適化プロセスに統合されたマルチビュー ノイズ リサンプル戦略を提案します。
広範な実験により、私たちの方法が単一の画像から正確なジオメトリと豊かな詳細を備えた 3D ポートレートを生成できることが実証されました。
プロジェクト ページは \url{https://haoran-wei.github.io/Portrait-Diffusion} にあります。

要約(オリジナル)

Recent diffusion-based Single-image 3D portrait generation methods typically employ 2D diffusion models to provide multi-view knowledge, which is then distilled into 3D representations. However, these methods usually struggle to produce high-fidelity 3D models, frequently yielding excessively blurred textures. We attribute this issue to the insufficient consideration of cross-view consistency during the diffusion process, resulting in significant disparities between different views and ultimately leading to blurred 3D representations. In this paper, we address this issue by comprehensively exploiting multi-view priors in both the conditioning and diffusion procedures to produce consistent, detail-rich portraits. From the conditioning standpoint, we propose a Hybrid Priors Diffsion model, which explicitly and implicitly incorporates multi-view priors as conditions to enhance the status consistency of the generated multi-view portraits. From the diffusion perspective, considering the significant impact of the diffusion noise distribution on detailed texture generation, we propose a Multi-View Noise Resamplig Strategy integrated within the optimization process leveraging cross-view priors to enhance representation consistency. Extensive experiments demonstrate that our method can produce 3D portraits with accurate geometry and rich details from a single image. The project page is at \url{https://haoran-wei.github.io/Portrait-Diffusion}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google