Identity Preserving 3D Head Stylization with Multiview Score Distillation

要約

3D 頭部の様式化により、リアルな顔の特徴が芸術的な表現に変換され、ゲームや仮想現実アプリケーション全体でのユーザー エンゲージメントが強化されます。
3D 対応のジェネレーターは大幅な進歩を遂げていますが、多くの 3D 様式化手法は主に正面に近いビューを提供し、元の被写体の固有のアイデンティティを維持するのに苦労しており、多様性や個性に欠けた出力が得られることがよくあります。
このペーパーでは、PanoHead モデルを活用し、包括的な 360 度の視点から画像を合成することで、これらの課題に対処します。
我々は、負の対数尤度蒸留 (LD) を使用して同一性の保持を強化し、様式化の品質を向上させる新しいフレームワークを提案します。
マルチビュー グリッド スコアとミラー グラディエントを 3D GAN アーキテクチャ内に統合し、スコア ランク重み付け手法を導入することにより、私たちのアプローチは大幅な質的および量的な改善を達成します。
私たちの発見は、3D 頭部の様式化の現状を前進させるだけでなく、アイデンティティの保存という重要な問題に焦点を当て、拡散モデルと GAN の間の効果的な蒸留プロセスに関する貴重な洞察を提供します。
その他のビジュアルについては、https://three-bee.github.io/head_stylization にアクセスしてください。

要約(オリジナル)

3D head stylization transforms realistic facial features into artistic representations, enhancing user engagement across gaming and virtual reality applications. While 3D-aware generators have made significant advancements, many 3D stylization methods primarily provide near-frontal views and struggle to preserve the unique identities of original subjects, often resulting in outputs that lack diversity and individuality. This paper addresses these challenges by leveraging the PanoHead model, synthesizing images from a comprehensive 360-degree perspective. We propose a novel framework that employs negative log-likelihood distillation (LD) to enhance identity preservation and improve stylization quality. By integrating multi-view grid score and mirror gradients within the 3D GAN architecture and introducing a score rank weighing technique, our approach achieves substantial qualitative and quantitative improvements. Our findings not only advance the state of 3D head stylization but also provide valuable insights into effective distillation processes between diffusion models and GANs, focusing on the critical issue of identity preservation. Please visit the https://three-bee.github.io/head_stylization for more visuals.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google