Fantasia3D: Disentangling Geometry and Appearance for High-quality Text-to-3D Content Creation

要約

自動 3D コンテンツ作成は、事前トレーニング済みの大規模な言語モデルと画像拡散モデルが利用可能になったことにより、最近急速な進歩を遂げており、テキストから 3D へのコンテンツ作成という新たなトピックを形成しています。
既存のテキストから 3D への方法は、通常、暗黙的なシーン表現を使用します。これは、ボリューム レンダリングを介してジオメトリと外観を結び付けますが、より細かいジオメトリを復元してフォトリアリスティック レンダリングを実現するという点では最適ではありません。
その結果、高品質の 3D アセットを生成する効果が低くなります。
この作業では、高品質のテキストから 3D コンテンツを作成するための Fantasia3D の新しい方法を提案します。
Fantasia3D の鍵は、幾何学と外観のもつれたモデリングと学習です。
ジオメトリの学習では、ハイブリッド シーン表現に依存し、表現から抽出された表面法線を画像拡散モデルの入力としてエンコードすることを提案します。
外観モデリングでは、テキストから 3D へのタスクに空間的に変化する双方向反射率分布関数 (BRDF) を導入し、生成された表面のフォトリアリスティック レンダリングのために表面素材を学習します。
私たちの絡み合っていないフレームワークは、一般的なグラフィック エンジンとの互換性が高く、生成された 3D アセットの再ライティング、編集、および物理シミュレーションをサポートしています。
さまざまなテキストから 3D へのタスク設定の下で、既存の方法よりも優れた方法の利点を示す徹底的な実験を行います。
プロジェクトページとソースコード: https://fantasia3d.github.io/.

要約(オリジナル)

Automatic 3D content creation has achieved rapid progress recently due to the availability of pre-trained, large language models and image diffusion models, forming the emerging topic of text-to-3D content creation. Existing text-to-3D methods commonly use implicit scene representations, which couple the geometry and appearance via volume rendering and are suboptimal in terms of recovering finer geometries and achieving photorealistic rendering; consequently, they are less effective for generating high-quality 3D assets. In this work, we propose a new method of Fantasia3D for high-quality text-to-3D content creation. Key to Fantasia3D is the disentangled modeling and learning of geometry and appearance. For geometry learning, we rely on a hybrid scene representation, and propose to encode surface normal extracted from the representation as the input of the image diffusion model. For appearance modeling, we introduce the spatially varying bidirectional reflectance distribution function (BRDF) into the text-to-3D task, and learn the surface material for photorealistic rendering of the generated surface. Our disentangled framework is more compatible with popular graphics engines, supporting relighting, editing, and physical simulation of the generated 3D assets. We conduct thorough experiments that show the advantages of our method over existing ones under different text-to-3D task settings. Project page and source codes: https://fantasia3d.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google