Semantic 3D-aware Portrait Synthesis and Manipulation Based on Compositional Neural Radiance Field

要約

タイトル：意味のある3Dポートレート生成と編集：合成ニューラル放射場に基づく

要約：

– 3D-aware GAN方法は、ニューラル放射場によって最近急速に発展してきた。
– 現在の方法は、全体的なニューラル放射場として画像全体をモデル化しているため、合成された結果の部分的な意味編集可能性が制限されている。
– NeRFはピクセル単位で画像をレンダリングするため、NeRFを空間次元で分割することが可能である。
– セマンティック領域ごとに画像を分割し、各領域に独立したニューラル放射場を学習し、最後にそれらを融合して完全な画像をレンダリングする、Compositional Neural Radiance Field（CNeRF）を提案する。
– したがって、合成されたセマンティック領域を独立に操作しながら他の部分を変更せずに維持することができる。
– さらに、CNeRFは各セマンティック領域内で形状とテクスチャを分離するように設計されている。
– オブジェクト検出や画像セグメンテーション、あるいは既存のAIモデルを応用することで、セマンティック領域を定義することができる。
– 私たちの手法は、3D一貫性を高水準に保ちつつ、微細なセマンティック領域編集を実現し、これまでの3D-aware GAN方法に比べ、改良されたものである。
– アブレーションスタディにより、私たちの手法に使用される構造と損失関数の効果的性が示されている。
– さらに、実際の画像反転およびキャラクターポートレート3D編集実験が、私たちの手法の応用潜在性を示している。

要約(オリジナル)

Recently 3D-aware GAN methods with neural radiance field have developed rapidly. However, current methods model the whole image as an overall neural radiance field, which limits the partial semantic editability of synthetic results. Since NeRF renders an image pixel by pixel, it is possible to split NeRF in the spatial dimension. We propose a Compositional Neural Radiance Field (CNeRF) for semantic 3D-aware portrait synthesis and manipulation. CNeRF divides the image by semantic regions and learns an independent neural radiance field for each region, and finally fuses them and renders the complete image. Thus we can manipulate the synthesized semantic regions independently, while fixing the other parts unchanged. Furthermore, CNeRF is also designed to decouple shape and texture within each semantic region. Compared to state-of-the-art 3D-aware GAN methods, our approach enables fine-grained semantic region manipulation, while maintaining high-quality 3D-consistent synthesis. The ablation studies show the effectiveness of the structure and loss function used by our method. In addition real image inversion and cartoon portrait 3D editing experiments demonstrate the application potential of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI