DreamScene: 3D Gaussian-based Text-to-3D Scene Generation via Formation Pattern Sampling

要約

Text-to-3Dシーン生成は、ゲーム、映画、建築の分野で計り知れない可能性を秘めている。大きな進歩にもかかわらず、既存の手法は、高品質、一貫性、編集の柔軟性を維持することに苦労している。本論文では、主に2つの戦略によって前述の3つの課題に取り組むために、3Dガウシアンベースの新しいテキストから3Dシーン生成フレームワークであるDreamSceneを提案する。第一に、DreamSceneは、3Dオブジェクトの形成パターンに導かれたマルチタイムステップサンプリング戦略である形成パターンサンプリング（FPS）を採用し、高速で、意味的に豊かで、高品質な表現を形成する。FPSは、最適化の安定性のために3Dガウシアンフィルタリングを使用し、もっともらしいテクスチャを生成するために再構成技術を活用します。第二に、DreamSceneはプログレッシブな3段階のカメラサンプリング戦略を採用しており、屋内と屋外の両方の設定用に特別に設計され、オブジェクトと環境の統合とシーン全体の3Dの一貫性を効果的に保証します。最後に、DreamSceneはオブジェクトと環境を統合することでシーン編集の柔軟性を高め、ターゲットに合わせた調整を可能にします。広範な実験により、DreamSceneが現在の最先端技術より優れていることが検証され、多様なアプリケーションへの幅広い可能性を予告しています。コードとデモは https://dreamscene-project.github.io で公開される。

要約(オリジナル)

Text-to-3D scene generation holds immense potential for the gaming, film, and architecture sectors. Despite significant progress, existing methods struggle with maintaining high quality, consistency, and editing flexibility. In this paper, we propose DreamScene, a 3D Gaussian-based novel text-to-3D scene generation framework, to tackle the aforementioned three challenges mainly via two strategies. First, DreamScene employs Formation Pattern Sampling (FPS), a multi-timestep sampling strategy guided by the formation patterns of 3D objects, to form fast, semantically rich, and high-quality representations. FPS uses 3D Gaussian filtering for optimization stability, and leverages reconstruction techniques to generate plausible textures. Second, DreamScene employs a progressive three-stage camera sampling strategy, specifically designed for both indoor and outdoor settings, to effectively ensure object-environment integration and scene-wide 3D consistency. Last, DreamScene enhances scene editing flexibility by integrating objects and environments, enabling targeted adjustments. Extensive experiments validate DreamScene’s superiority over current state-of-the-art techniques, heralding its wide-ranging potential for diverse applications. Code and demos will be released at https://dreamscene-project.github.io .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL