RealmDreamer: Text-Driven 3D Scene Generation with Inpainting and Depth Diffusion

要約

テキストの説明から一般的な前向き 3D シーンを生成する技術である RealmDreamer を紹介します。
私たちの技術は、複雑なテキスト プロンプトに一致するように 3D ガウス スプラッティング表現を最適化します。
これらのスプラットは、最先端のテキストから画像へのジェネレーターを利用し、サンプルを 3D にリフトし、オクルージョン ボリュームを計算することによって初期化されます。
次に、画像条件付き拡散モデルを使用した 3D 修復タスクとして、複数のビューにわたってこの表現を最適化します。
正しい幾何学的構造を学習するために、修復モデルからのサンプルを条件付けすることで深度拡散モデルを組み込み、豊富な幾何学的構造を提供します。
最後に、画像ジェネレーターからの鮮明なサンプルを使用してモデルを微調整します。
特に、私たちの技術はビデオやマルチビュー データを必要とせず、複数のオブジェクトで構成されるさまざまなスタイルの高品質 3D シーンを合成できます。
さらに、その汎用性により、単一の画像から 3D 合成が可能になります。

要約(オリジナル)

We introduce RealmDreamer, a technique for generation of general forward-facing 3D scenes from text descriptions. Our technique optimizes a 3D Gaussian Splatting representation to match complex text prompts. We initialize these splats by utilizing the state-of-the-art text-to-image generators, lifting their samples into 3D, and computing the occlusion volume. We then optimize this representation across multiple views as a 3D inpainting task with image-conditional diffusion models. To learn correct geometric structure, we incorporate a depth diffusion model by conditioning on the samples from the inpainting model, giving rich geometric structure. Finally, we finetune the model using sharpened samples from image generators. Notably, our technique does not require video or multi-view data and can synthesize a variety of high-quality 3D scenes in different styles, consisting of multiple objects. Its generality additionally allows 3D synthesis from a single image.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google