SDF-StyleGAN: Implicit SDF-Based StyleGAN for 3D Shape Generation

要約

生成された形状と形状コレクションの間の視覚的および幾何学的な非類似性を減らすことを目的として、SDF-StyleGANと呼ばれる3D形状生成のためのStyleGAN2ベースの深層学習アプローチを提示します。
StyleGAN2を3D生成に拡張し、暗黙の符号付き距離関数（SDF）を3D形状表現として利用し、実際のSDF値と偽のSDF値および勾配を区別して、形状の形状と視覚的品質を大幅に向上させる2つの新しいグローバルおよびローカル形状弁別子を導入します。
さらに、3D生成モデルの評価メトリックを、シェーディング画像ベースのFr \’echet開始距離（FID）スコアで補完して、生成された形状の視覚品質と形状分布をより適切に評価します。
形状生成に関する実験は、最先端のSDF-StyleGANよりも優れたパフォーマンスを示しています。
さらに、形状の再構築、部分的な点群からの形状の完成、単一ビューの画像ベースの形状生成、形状スタイルの編集など、GAN反転に基づくさまざまなタスクでSDF-StyleGANの有効性を示します。
広範なアブレーション研究は、フレームワーク設計の有効性を正当化します。
コードとトレーニング済みモデルは、https：//github.com/Zhengxinyang/SDF-StyleGANで入手できます。

要約(オリジナル)

We present a StyleGAN2-based deep learning approach for 3D shape generation, called SDF-StyleGAN, with the aim of reducing visual and geometric dissimilarity between generated shapes and a shape collection. We extend StyleGAN2 to 3D generation and utilize the implicit signed distance function (SDF) as the 3D shape representation, and introduce two novel global and local shape discriminators that distinguish real and fake SDF values and gradients to significantly improve shape geometry and visual quality. We further complement the evaluation metrics of 3D generative models with the shading-image-based Fr\’echet inception distance (FID) scores to better assess visual quality and shape distribution of the generated shapes. Experiments on shape generation demonstrate the superior performance of SDF-StyleGAN over the state-of-the-art. We further demonstrate the efficacy of SDF-StyleGAN in various tasks based on GAN inversion, including shape reconstruction, shape completion from partial point clouds, single-view image-based shape generation, and shape style editing. Extensive ablation studies justify the efficacy of our framework design. Our code and trained models are available at https://github.com/Zhengxinyang/SDF-StyleGAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google