Generative Deformable Radiance Fields for Disentangled Image Synthesis of Topology-Varying Objects

要約

3D認識生成モデルは、トポロジーが変化する物体カテゴリに対しても、単眼2D画像集合から3D神経輝度場を生成する優れた性能を発揮している。しかし、これらの手法では、生成された輝度場に含まれる物体の形状や外観を個別に制御する機能はまだない。本論文では、形状と外観が分離されたトポロジー可変な物体の輝度場を合成するための生成モデルを提案する。本手法は、変形可能な輝度場を生成し、オブジェクトの密度場間の密な対応関係を構築し、その外観を共有テンプレート場に符号化するものである。本手法は、従来の3次元認識GANの学習に余分なラベルを導入することなく、教師なし方式で異種混合を達成する。また、実単眼画像中の物体の輝度場を再構成し、その形状や外観を操作するための効果的な画像反転方式を開発する。実験により、本手法は非構造化単眼画像から生成モデルを学習し、位相的分散の大きい物体（例えば、椅子）の形状と外観をうまく切り分けることができることを示す。また、合成データで学習したモデルは、与えられた単一画像内の実オブジェクトを忠実に復元し、高品質なテクスチャと形状の編集結果を達成することができる。

要約(オリジナル)

3D-aware generative models have demonstrated their superb performance to generate 3D neural radiance fields (NeRF) from a collection of monocular 2D images even for topology-varying object categories. However, these methods still lack the capability to separately control the shape and appearance of the objects in the generated radiance fields. In this paper, we propose a generative model for synthesizing radiance fields of topology-varying objects with disentangled shape and appearance variations. Our method generates deformable radiance fields, which builds the dense correspondence between the density fields of the objects and encodes their appearances in a shared template field. Our disentanglement is achieved in an unsupervised manner without introducing extra labels to previous 3D-aware GAN training. We also develop an effective image inversion scheme for reconstructing the radiance field of an object in a real monocular image and manipulating its shape and appearance. Experiments show that our method can successfully learn the generative model from unstructured monocular images and well disentangle the shape and appearance for objects (e.g., chairs) with large topological variance. The model trained on synthetic data can faithfully reconstruct the real object in a given single image and achieve high-quality texture and shape editing results.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL