LucidDreamer: Domain-free Generation of 3D Gaussian Splatting Scenes

要約

VRデバイスやコンテンツの普及に伴い、3Dシーン生成技術の需要が高まっています。
ただし、既存の 3D シーン生成モデルは、主に現実世界からかけ離れた 3D スキャン データセットを使用したトレーニング戦略により、ターゲット シーンを特定の領域に制限します。
このような制限に対処するために、既存の大規模な拡散ベースの生成モデルの力を最大限に活用することにより、ドメインフリーのシーン生成パイプラインである LucidDreamer を提案します。
LucidDreamer には、夢見ることと調整という 2 つの代替ステップがあります。
まず、入力から多視点の一貫した画像を生成するために、各画像生成の幾何学的ガイドラインとして点群を設定します。
具体的には、点群の一部を目的のビューに投影し、その投影を生成モデルを使用した修復のガイドとして提供します。
ペイントされたイメージは、推定された深度マップを使用して 3D 空間に持ち上げられ、新しいポイントを構成します。
第二に、新しい点を 3D シーンに集約するために、新しく生成された 3D シーンの部分を調和して統合する位置合わせアルゴリズムを提案します。
最終的に取得された 3D シーンは、ガウス スプラットを最適化するための初期点として機能します。
LucidDreamer は、ターゲット シーンのドメインに制約がなく、以前の 3D シーン生成方法と比較して非常に詳細なガウス スプラットを生成します。
プロジェクトページ：https://luciddreamer-cvlab.github.io/

要約(オリジナル)

With the widespread usage of VR devices and contents, demands for 3D scene generation techniques become more popular. Existing 3D scene generation models, however, limit the target scene to specific domain, primarily due to their training strategies using 3D scan dataset that is far from the real-world. To address such limitation, we propose LucidDreamer, a domain-free scene generation pipeline by fully leveraging the power of existing large-scale diffusion-based generative model. Our LucidDreamer has two alternate steps: Dreaming and Alignment. First, to generate multi-view consistent images from inputs, we set the point cloud as a geometrical guideline for each image generation. Specifically, we project a portion of point cloud to the desired view and provide the projection as a guidance for inpainting using the generative model. The inpainted images are lifted to 3D space with estimated depth maps, composing a new points. Second, to aggregate the new points into the 3D scene, we propose an aligning algorithm which harmoniously integrates the portions of newly generated 3D scenes. The finally obtained 3D scene serves as initial points for optimizing Gaussian splats. LucidDreamer produces Gaussian splats that are highly-detailed compared to the previous 3D scene generation methods, with no constraint on domain of the target scene. Project page: https://luciddreamer-cvlab.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google