3D Semantic Subspace Traverser: Empowering 3D Generative Model with Shape Editing Capability

要約

形状生成は、3D コンテンツ作成のためのさまざまな表現として 3D 形状を生成する実践です。
3D 形状生成に関するこれまでの研究では、意味情報の重要性はほとんど考慮されず、形状の品質と構造に焦点が当てられていました。
その結果、そのような生成モデルは、形状構造の意味論的な一貫性を維持できなかったり、生成中に形状の意味論的属性を操作できなかったりすることがよくあります。
この論文では、カテゴリ固有の 3D 形状の生成と編集に意味論的属性を利用する 3D Semantic Subspace Traverser という新しい意味論的生成モデルを提案しました。
私たちの方法は、3D 形状表現として陰関数を利用し、新しい潜在空間 GAN と線形部分空間モデルを組み合わせて、3D 形状の局所的な潜在空間の意味論的次元を発見します。
部分空間の各次元は特定の意味属性に対応しており、それらの次元の係数をトラバースすることで、生成された形状の属性を編集できます。
実験結果は、私たちの方法が複雑な構造を持つもっともらしい形状を生成し、意味属性の編集を可能にすることを示しています。
コードとトレーニング済みモデルは https://github.com/TrepangCat/3D_Semantic_Subspace_Traverser で入手できます。

要約(オリジナル)

Shape generation is the practice of producing 3D shapes as various representations for 3D content creation. Previous studies on 3D shape generation have focused on shape quality and structure, without or less considering the importance of semantic information. Consequently, such generative models often fail to preserve the semantic consistency of shape structure or enable manipulation of the semantic attributes of shapes during generation. In this paper, we proposed a novel semantic generative model named 3D Semantic Subspace Traverser that utilizes semantic attributes for category-specific 3D shape generation and editing. Our method utilizes implicit functions as the 3D shape representation and combines a novel latent-space GAN with a linear subspace model to discover semantic dimensions in the local latent space of 3D shapes. Each dimension of the subspace corresponds to a particular semantic attribute, and we can edit the attributes of generated shapes by traversing the coefficients of those dimensions. Experimental results demonstrate that our method can produce plausible shapes with complex structures and enable the editing of semantic attributes. The code and trained models are available at https://github.com/TrepangCat/3D_Semantic_Subspace_Traverser

arxiv情報

提供元, 利用サービス

arxiv.jp, Google