Fantasia3D: Disentangling Geometry and Appearance for High-quality Text-to-3D Content Creation

要約

自動 3D コンテンツ作成は、事前トレーニングされた大規模な言語モデルと画像拡散モデルの利用可能性により、最近急速な進歩を遂げ、テキストから 3D コンテンツへの作成という新たなトピックを形成しています。
既存のテキストから 3D への変換方法は一般に、ボリューム レンダリングを介してジオメトリと外観を結合する暗黙的なシーン表現を使用しますが、より微細なジオメトリを復元し、フォトリアリスティックなレンダリングを達成するという点では最適ではありません。
したがって、高品質の 3D アセットを生成する効果は低くなります。
この研究では、高品質のテキストから 3D コンテンツを作成するための Fantasia3D の新しい方法を提案します。
Fantasia3D の鍵となるのは、幾何学形状と外観を解きほぐしたモデリングと学習です。
ジオメトリ学習の場合、ハイブリッド シーン表現に依存し、画像拡散モデルの入力として表現から抽出された表面法線をエンコードすることを提案します。
外観モデリングでは、空間的に変化する双方向反射率分布関数 (BRDF) を Text-to-3D タスクに導入し、生成された表面のフォトリアリスティックなレンダリングのための表面マテリアルを学習します。
当社の解きほぐされたフレームワークは、一般的なグラフィック エンジンとの互換性が高く、生成された 3D アセットの再ライティング、編集、物理シミュレーションをサポートします。
私たちは、さまざまなテキストから 3D へのタスク設定の下で、既存の方法と比較したこの方法の利点を示す徹底的な実験を実施しました。
プロジェクトページとソースコード: https://fantasia3d.github.io/。

要約(オリジナル)

Automatic 3D content creation has achieved rapid progress recently due to the availability of pre-trained, large language models and image diffusion models, forming the emerging topic of text-to-3D content creation. Existing text-to-3D methods commonly use implicit scene representations, which couple the geometry and appearance via volume rendering and are suboptimal in terms of recovering finer geometries and achieving photorealistic rendering; consequently, they are less effective for generating high-quality 3D assets. In this work, we propose a new method of Fantasia3D for high-quality text-to-3D content creation. Key to Fantasia3D is the disentangled modeling and learning of geometry and appearance. For geometry learning, we rely on a hybrid scene representation, and propose to encode surface normal extracted from the representation as the input of the image diffusion model. For appearance modeling, we introduce the spatially varying bidirectional reflectance distribution function (BRDF) into the text-to-3D task, and learn the surface material for photorealistic rendering of the generated surface. Our disentangled framework is more compatible with popular graphics engines, supporting relighting, editing, and physical simulation of the generated 3D assets. We conduct thorough experiments that show the advantages of our method over existing ones under different text-to-3D task settings. Project page and source codes: https://fantasia3d.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google