3DGEN: A GAN-based approach for generating novel 3D models from image data

要約

テキストと画像の合成における最近の進歩は、創造的な分野における生成モデルの将来に大きな期待を与えています。
ただし、3D モデル生成の領域はあまり研究されておらず、ゲーム デザイン、ビデオ制作、物理的な製品の設計に多くの応用が期待されています。
私たちの論文では、オブジェクト再構築のためのニューラル放射フィールドと GAN ベースの画像生成の両方に関する最近の研究を活用するモデルである 3DGEN を紹介します。
提案したアーキテクチャが、トレーニング画像と同じカテゴリのオブジェクトに対して妥当なメッシュを生成し、得られたメッシュを最先端のベースラインと比較することで、生成品質の目に見える向上が得られることを示します。

要約(オリジナル)

The recent advances in text and image synthesis show a great promise for the future of generative models in creative fields. However, a less explored area is the one of 3D model generation, with a lot of potential applications to game design, video production, and physical product design. In our paper, we present 3DGEN, a model that leverages the recent work on both Neural Radiance Fields for object reconstruction and GAN-based image generation. We show that the proposed architecture can generate plausible meshes for objects of the same category as the training images and compare the resulting meshes with the state-of-the-art baselines, leading to visible uplifts in generation quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google