LayerPano3D: Layered 3D Panorama for Hyper-Immersive Scene Generation

要約

3D イマーシブ シーンの生成は、コンピュータ ビジョンとグラフィックスにおいて、挑戦的ではありますが重要なタスクです。
望ましい仮想 3D シーンは、1) 全方位ビューの一貫性を示し、2) 複雑なシーン階層内での自由な探索を可能にする必要があります。
既存の方法は、修復による連続的なシーンの拡張に依存するか、またはパノラマ表現を使用して大きな FOV シーン環境を表現します。
ただし、生成されたシーンは展開中にセマンティック ドリフトが発生し、シーン階層間のオクルージョンを処理できません。
これらの課題に取り組むために、単一のテキスト プロンプトから全画面で探索可能なパノラマ 3D シーンを生成する新しいフレームワークである LayerPano3D を導入します。
私たちの重要な洞察は、参照 2D パノラマを異なる深さレベルの複数のレイヤーに分解することです。各レイヤーは、事前拡散を介して参照ビューから見えない空間を明らかにします。
LayerPano3D は複数の専用設計で構成されています。 1) 高品質で一貫したパノラマ生成のために、新しいテキスト ガイド付きアンカー ビュー合成パイプラインを導入します。
2) 当社は、複雑なシーン階層を管理するための基礎的な表現としてレイヤード 3D パノラマを開拓し、それを 3D ガウスに引き上げて、制約のないビュー パスを持つ詳細な 360 度の全方向シーンを分割します。
広範な実験により、私たちのフレームワークが一貫した全画面表示と没入型の探索体験の両方で最先端の 3D パノラマ シーンを生成することが実証されました。
私たちは、LayerPano3D が多数のアプリケーションで 3D パノラマ シーンの作成を進歩させる可能性を秘めていると信じています。

要約(オリジナル)

3D immersive scene generation is a challenging yet critical task in computer vision and graphics. A desired virtual 3D scene should 1) exhibit omnidirectional view consistency, and 2) allow for free exploration in complex scene hierarchies. Existing methods either rely on successive scene expansion via inpainting or employ panorama representation to represent large FOV scene environments. However, the generated scene suffers from semantic drift during expansion and is unable to handle occlusion among scene hierarchies. To tackle these challenges, we introduce LayerPano3D, a novel framework for full-view, explorable panoramic 3D scene generation from a single text prompt. Our key insight is to decompose a reference 2D panorama into multiple layers at different depth levels, where each layer reveals the unseen space from the reference views via diffusion prior. LayerPano3D comprises multiple dedicated designs: 1) we introduce a novel text-guided anchor view synthesis pipeline for high-quality, consistent panorama generation. 2) We pioneer the Layered 3D Panorama as underlying representation to manage complex scene hierarchies and lift it into 3D Gaussians to splat detailed 360-degree omnidirectional scenes with unconstrained viewing paths. Extensive experiments demonstrate that our framework generates state-of-the-art 3D panoramic scene in both full view consistency and immersive exploratory experience. We believe that LayerPano3D holds promise for advancing 3D panoramic scene creation with numerous applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google