DreamScape: 3D Scene Creation via Gaussian Splatting joint Correlation Modeling

要約

テキストから3Dの作成における最近の進歩により、拡散モデルの強力な事前モデルをテキストからイメージの生成から3Dドメインに統合します。
それにもかかわらず、複数のオブジェクトを使用して3Dシーンを生成することは依然として困難です。
したがって、テキストから3Dシーンを生成する方法であるDreamscapeを提示します。
3D表現のためにガウスのスプラッティングを利用して、Dreamscapeは、LLMを使用したテキストからのセマンティックプリミティブ、空間的変換、および関係をコードし、ローカルからグローバルの最適化を可能にする3Dガウスガイドを紹介します。
プログレッシブスケール制御は、ローカルオブジェクトの生成中に調整され、グローバルな最適化段階での単純なブレンドから生じるトレーニング不安定性の問題に対処します。
オブジェクト間の衝突関係は、LLMS事前にバイアスを緩和するためにグローバルレベルでモデル化され、身体的正しさを確保します。
さらに、雨や雪などの広範なオブジェクトをシーン全体に広範囲に生成するために、特殊なまばらな初期化と密度化戦略を設計します。
実験は、Dreamscapeが最先端のパフォーマンスを達成し、高忠実で制御可能な3Dシーン生成を可能にすることを示しています。

要約(オリジナル)

Recent advances in text-to-3D creation integrate the potent prior of Diffusion Models from text-to-image generation into 3D domain. Nevertheless, generating 3D scenes with multiple objects remains challenging. Therefore, we present DreamScape, a method for generating 3D scenes from text. Utilizing Gaussian Splatting for 3D representation, DreamScape introduces 3D Gaussian Guide that encodes semantic primitives, spatial transformations and relationships from text using LLMs, enabling local-to-global optimization. Progressive scale control is tailored during local object generation, addressing training instability issue arising from simple blending in the global optimization stage. Collision relationships between objects are modeled at the global level to mitigate biases in LLMs priors, ensuring physical correctness. Additionally, to generate pervasive objects like rain and snow distributed extensively across the scene, we design specialized sparse initialization and densification strategy. Experiments demonstrate that DreamScape achieves state-of-the-art performance, enabling high-fidelity, controllable 3D scene generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google