DeformToon3D: Deformable 3D Toonification from Neural Radiance Fields

要約

この論文では、様式化されたジオメトリとテクスチャを持つターゲット 3D 顔に芸術的領域のスタイルを転写することを含む、3D トゥーニフィケーションの困難な問題に取り組みます。
芸術的領域で事前トレーニングされた 3D GAN を微調整すると、妥当なパフォーマンスが得られますが、この戦略には 3D 領域では制限があります。
特に、微調整により元の GAN 潜在空間が劣化する可能性があり、その後のセマンティック編集に影響を及ぼし、新しいスタイルごとに独立した最適化とストレージが必要となり、柔軟性と効率的な展開が制限されます。
これらの課題を克服するために、階層型 3D GAN に合わせた効果的なトゥーニフィケーション フレームワークである DeformToon3D を提案します。
私たちのアプローチは、3D トゥーニフィケーションをジオメトリとテクスチャの様式化のサブ問題に分解して、元の潜在空間をより適切に保存します。
具体的には、条件付き 3D 変形を予測して実空間 NeRF をジオメトリ スタイル化のスタイル空間に合わせる新しい StyleField を考案します。
すでにジオメトリのスタイル化を適切に処理している StyleField の定式化のおかげで、事前トレーニングされた 3D GAN のデコーダーに芸術的領域の情報を注入する適応型スタイル ミキシングを介してテクスチャのスタイル化を簡単に実現できます。
ユニークな設計により、私たちの方法は柔軟なスタイル度の制御と形状-テクスチャ固有のスタイルの交換を可能にします。
さらに、現実世界の 2D-3D トレーニング ペアを使用せずに、既製の 2D トゥーニフィケーション モデルから合成されたプロキシ サンプルを使用して、効率的なトレーニングを実現します。

要約(オリジナル)

In this paper, we address the challenging problem of 3D toonification, which involves transferring the style of an artistic domain onto a target 3D face with stylized geometry and texture. Although fine-tuning a pre-trained 3D GAN on the artistic domain can produce reasonable performance, this strategy has limitations in the 3D domain. In particular, fine-tuning can deteriorate the original GAN latent space, which affects subsequent semantic editing, and requires independent optimization and storage for each new style, limiting flexibility and efficient deployment. To overcome these challenges, we propose DeformToon3D, an effective toonification framework tailored for hierarchical 3D GAN. Our approach decomposes 3D toonification into subproblems of geometry and texture stylization to better preserve the original latent space. Specifically, we devise a novel StyleField that predicts conditional 3D deformation to align a real-space NeRF to the style space for geometry stylization. Thanks to the StyleField formulation, which already handles geometry stylization well, texture stylization can be achieved conveniently via adaptive style mixing that injects information of the artistic domain into the decoder of the pre-trained 3D GAN. Due to the unique design, our method enables flexible style degree control and shape-texture-specific style swap. Furthermore, we achieve efficient training without any real-world 2D-3D training pairs but proxy samples synthesized from off-the-shelf 2D toonification models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google