Text2Immersion: Generative Immersive Scene with 3D Gaussians

要約

テキスト プロンプトから高品質の 3D イマーシブ シーンを生成するエレガントな方法である Text2Immersion を紹介します。
私たちが提案するパイプラインは、事前トレーニングされた 2D 拡散および深度推定モデルを使用してガウス クラウドを段階的に生成することから始まります。
これに続いて、ガウス クラウドの微調整段階が行われ、生成されたシーンの詳細を強化するためにガウス クラウドを補間および微調整します。
単一のオブジェクトや屋内シーンに焦点を当てたり、ズームアウト軌跡を使用したりする一般的な方法とは異なり、私たちのアプローチは、さまざまなオブジェクトを含む多様なシーンを生成し、想像上のシーンの作成にまで拡張されます。
したがって、Text2Immersion は、仮想現実、ゲーム開発、自動コンテンツ作成などのさまざまなアプリケーションに幅広い影響を与える可能性があります。
広範な評価により、当社のシステムがレンダリング品質と多様性において他の方法を上回り、テキスト駆動の 3D シーン生成に向けてさらに進歩していることが実証されました。
ソースコードはプロジェクトページで公開する予定です。

要約(オリジナル)

We introduce Text2Immersion, an elegant method for producing high-quality 3D immersive scenes from text prompts. Our proposed pipeline initiates by progressively generating a Gaussian cloud using pre-trained 2D diffusion and depth estimation models. This is followed by a refining stage on the Gaussian cloud, interpolating and refining it to enhance the details of the generated scene. Distinct from prevalent methods that focus on single object or indoor scenes, or employ zoom-out trajectories, our approach generates diverse scenes with various objects, even extending to the creation of imaginary scenes. Consequently, Text2Immersion can have wide-ranging implications for various applications such as virtual reality, game development, and automated content creation. Extensive evaluations demonstrate that our system surpasses other methods in rendering quality and diversity, further progressing towards text-driven 3D scene generation. We will make the source code publicly accessible at the project page.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google