Semantic 3D-aware Portrait Synthesis and Manipulation Based on Compositional Neural Radiance Field

要約

近年、ニューラルラジアンス場を用いた3D認識GAN法が急速に発展している。しかし、現在の手法は、画像全体を全体的な神経輝度場としてモデル化しているため、合成結果の部分的な意味編集可能性に限界がある。NeRFは画像をピクセル単位でレンダリングするため、空間次元でNeRFを分割することが可能である。我々は、意味的な3Dを考慮した肖像画合成・操作のためのCompositional Neural Radiance Field (CNeRF)を提案する。CNeRFは画像を意味領域ごとに分割し、それぞれの領域に対して独立した神経輝度場を学習し、最終的にそれらを融合して完全な画像をレンダリングする。そのため、合成された意味領域を独立に操作し、他の部分は変更せずに固定することができる。さらに、CNeRFは、各意味領域内の形状とテクスチャを切り離すようにも設計されています。本手法を用いることで、3次元を考慮した高品質な合成を維持しつつ、きめ細かな意味領域操作が可能となる。アブレーション研究により、本手法で用いる構造と損失関数の有効性が示された。また、実画像の反転や漫画の肖像画の3次元編集実験により、本手法の応用可能性を示す。

要約(オリジナル)

Recently 3D-aware GAN methods with neural radiance field have developed rapidly. However, current methods model the whole image as an overall neural radiance field, which limits the partial semantic editability of synthetic results. Since NeRF renders an image pixel by pixel, it is possible to split NeRF in the spatial dimension. We propose a Compositional Neural Radiance Field (CNeRF) for semantic 3D-aware portrait synthesis and manipulation. CNeRF divides the image by semantic regions and learns an independent neural radiance field for each region, and finally fuses them and renders the complete image. Thus we can manipulate the synthesized semantic regions independently, while fixing the other parts unchanged. Furthermore, CNeRF is also designed to decouple shape and texture within each semantic region. Compared to state-of-the-art 3D-aware GAN methods, our approach enables fine-grained semantic region manipulation, while maintaining high-quality 3D-consistent synthesis. The ablation studies show the effectiveness of the structure and loss function used by our method. In addition real image inversion and cartoon portrait 3D editing experiments demonstrate the application potential of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL