CTGAN: Semantic-guided Conditional Texture Generator for 3D Shapes

要約

エンターテインメント業界は、没入型体験を作成するために 3D ビジュアル コンテンツに依存していますが、テクスチャ付き 3D モデルを作成する従来の方法では時間がかかり、主観的になる可能性があります。
StyleGAN などの生成ネットワークは高度な画像合成を備えていますが、忠実度の高いテクスチャを備えた 3D オブジェクトの生成についてはまだ十分に研究されておらず、既存の方法には限界があります。
私たちは、形状のセマンティクスを尊重しながら視野角と一致する 3D 形状の高品質テクスチャを生成する、セマンティック ガイド付き条件付きテクスチャ ジェネレーター (CTGAN) を提案します。
CTGAN は、StyleGAN のもつれが解けた性質を利用して入力潜在コードを細かく操作し、生成されたテクスチャのスタイルと構造の両方を明示的に制御できるようにします。
粗いから細かいエンコーダ アーキテクチャが導入され、入力セグメンテーションによる結果のテクスチャの構造の制御が強化されています。
実験結果は、CTGAN が複数の品質指標において既存の手法を上回り、条件付き設定と無条件設定の両方でテクスチャ生成において最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

The entertainment industry relies on 3D visual content to create immersive experiences, but traditional methods for creating textured 3D models can be time-consuming and subjective. Generative networks such as StyleGAN have advanced image synthesis, but generating 3D objects with high-fidelity textures is still not well explored, and existing methods have limitations. We propose the Semantic-guided Conditional Texture Generator (CTGAN), producing high-quality textures for 3D shapes that are consistent with the viewing angle while respecting shape semantics. CTGAN utilizes the disentangled nature of StyleGAN to finely manipulate the input latent codes, enabling explicit control over both the style and structure of the generated textures. A coarse-to-fine encoder architecture is introduced to enhance control over the structure of the resulting textures via input segmentation. Experimental results show that CTGAN outperforms existing methods on multiple quality metrics and achieves state-of-the-art performance on texture generation in both conditional and unconditional settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google