GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images

要約

いくつかの業界が大規模な 3D 仮想世界のモデル化に向けて動いているため、3D コンテンツの量、質、および多様性の点でスケーリングできるコンテンツ作成ツールの必要性が明らかになりつつあります。
私たちの仕事では、3D レンダリング エンジンで直接使用できるテクスチャ メッシュを合成するパフォーマンスの高い 3D 生成モデルをトレーニングして、ダウンストリーム アプリケーションですぐに使用できるようにすることを目指しています。
3D ジェネレーティブ モデリングに関する以前の作業では、ジオメトリの詳細が欠けているか、生成できるメッシュ トポロジが制限されているか、通常はテクスチャをサポートしていないか、合成プロセスでニューラル レンダラーを利用しているため、一般的な 3D ソフトウェアでの使用が自明ではありません。
この作業では、GET3D を紹介します。GET3D は、複雑なトポロジ、豊富な幾何学的詳細、忠実度の高いテクスチャを備えた Explicit Textured 3D メッシュを直接生成するジェネレーティブ モデルです。
微分可能な表面モデリング、微分可能なレンダリング、および 2D Generative Adversarial Networks における最近の成功を橋渡しして、2D 画像コレクションからモデルをトレーニングします。
GET3D は、車、椅子、動物、バイク、人間のキャラクターから建物に至るまで、高品質の 3D テクスチャ メッシュを生成することができ、以前の方法よりも大幅に改善されています。

要約(オリジナル)

As several industries are moving towards modeling massive 3D virtual worlds, the need for content creation tools that can scale in terms of the quantity, quality, and diversity of 3D content is becoming evident. In our work, we aim to train performant 3D generative models that synthesize textured meshes which can be directly consumed by 3D rendering engines, thus immediately usable in downstream applications. Prior works on 3D generative modeling either lack geometric details, are limited in the mesh topology they can produce, typically do not support textures, or utilize neural renderers in the synthesis process, which makes their use in common 3D software non-trivial. In this work, we introduce GET3D, a Generative model that directly generates Explicit Textured 3D meshes with complex topology, rich geometric details, and high-fidelity textures. We bridge recent success in the differentiable surface modeling, differentiable rendering as well as 2D Generative Adversarial Networks to train our model from 2D image collections. GET3D is able to generate high-quality 3D textured meshes, ranging from cars, chairs, animals, motorbikes and human characters to buildings, achieving significant improvements over previous methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google