XDGAN: Multi-Modal 3D Shape Generation in 2D Space

要約

2次元画像の生成モデルは、2次元畳み込みアーキテクチャの効率化により、品質、解像度、速度において近年目覚ましい進歩を遂げている。しかし、現在のほとんどの3D表現はカスタムネットワークコンポーネントに依存しているため、この進歩を3Dドメインに拡張することは困難である。この論文では、中心的な問題に取り組んでいます。2D画像生成モデルを直接利用して、3D形状を生成することは可能なのだろうか？この問題に答えるため、我々は、2D画像GANアーキテクチャを、カラーテクスチャや法線のような追加的な表面属性と組み合わせた3Dオブジェクト形状の生成に適用するための効果的で高速な手法であるXDGANを提案する。具体的には、3次元形状をコンパクトな1チャンネルのジオメトリ画像に変換し、StyleGAN3や画像間変換ネットワークを活用して2次元空間に3次元オブジェクトを生成する新しい手法を提案する。生成されたジオメトリ画像は、3Dメッシュに素早く変換され、リアルタイムでの3Dオブジェクト合成、可視化、インタラクティブな編集を可能にします。さらに、標準的な2Dアーキテクチャを用いることで、より多くの2Dの進歩を3Dの領域に取り込むことができる。本手法が、3次元形状生成、シングルビュー再構成、形状操作などの様々なタスクにおいて高い効果を発揮することを定量的、定性的にも示し、同時に、最近の3次元生成モデルと比較して著しく高速かつ柔軟であることも示す。

要約(オリジナル)

Generative models for 2D images has recently seen tremendous progress in quality, resolution and speed as a result of the efficiency of 2D convolutional architectures. However it is difficult to extend this progress into the 3D domain since most current 3D representations rely on custom network components. This paper addresses a central question: Is it possible to directly leverage 2D image generative models to generate 3D shapes instead? To answer this, we propose XDGAN, an effective and fast method for applying 2D image GAN architectures to the generation of 3D object geometry combined with additional surface attributes, like color textures and normals. Specifically, we propose a novel method to convert 3D shapes into compact 1-channel geometry images and leverage StyleGAN3 and image-to-image translation networks to generate 3D objects in 2D space. The generated geometry images are quick to convert to 3D meshes, enabling real-time 3D object synthesis, visualization and interactive editing. Moreover, the use of standard 2D architectures can help bring more 2D advances into the 3D realm. We show both quantitatively and qualitatively that our method is highly effective at various tasks such as 3D shape generation, single view reconstruction and shape manipulation, while being significantly faster and more flexible compared to recent 3D generative models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL