LayerPano3D: Layered 3D Panorama for Hyper-Immersive Scene Generation

要約

3D没入型シーン生成は、コンピュータービジョンとグラフィックスの挑戦的でありながら重要なタスクです。
目的の仮想3Dシーンは、1）全方向目的ビューの一貫性を示し、2）複雑なシーン階層で無料の探索を可能にする必要があります。
既存の方法は、パノラマ表現を開始することによる連続したシーンの拡張に依存しているか、大規模なFOVシーン環境を表現するために採用しています。
ただし、生成されたシーンは拡張中にセマンティックドリフトに苦しんでおり、シーンの階層間の閉塞を処理することができません。
これらの課題に取り組むために、単一のテキストプロンプトからフルビューの探索可能なパノラマ3Dシーン生成の新しいフレームワークであるLayerPano3Dを紹介します。
私たちの重要な洞察は、参照2Dパノラマを異なる深さレベルで複数の層に分解することです。各層は、拡散前の拡散ビューから目に見えない空間を明らかにします。
LayerPano3Dは、複数の専用デザインで構成されています。1）9K高品質で直立したパノラマ画像を含む新しいPanorama Dataset right360を導入し、高品質で直立した一貫したパノラマ世代のために、直立した360の高度なフラックスモデルを紹介します。
2）複雑なシーンの階層を管理し、3Dガウスに持ち上げて、制約のない視聴パスを備えた詳細な360度の全方向性シーンをスプラットするための基礎となる表現として層状の3Dパノラマを開拓します。
広範な実験は、私たちのフレームワークが、完全なビューの一貫性と没入型探索的経験の両方で、最先端の3Dパノラマシーンを生成することを示しています。
LayerPano3Dは、多数のアプリケーションで3Dパノラマシーンの作成を進めることの約束を保持していると考えています。

要約(オリジナル)

3D immersive scene generation is a challenging yet critical task in computer vision and graphics. A desired virtual 3D scene should 1) exhibit omnidirectional view consistency, and 2) allow for free exploration in complex scene hierarchies. Existing methods either rely on successive scene expansion via inpainting or employ panorama representation to represent large FOV scene environments. However, the generated scene suffers from semantic drift during expansion and is unable to handle occlusion among scene hierarchies. To tackle these challenges, we introduce Layerpano3D, a novel framework for full-view, explorable panoramic 3D scene generation from a single text prompt. Our key insight is to decompose a reference 2D panorama into multiple layers at different depth levels, where each layer reveals the unseen space from the reference views via diffusion prior. Layerpano3D comprises multiple dedicated designs: 1) We introduce a new panorama dataset Upright360, comprising 9k high-quality and upright panorama images, and finetune the advanced Flux model on Upright360 for high-quality, upright and consistent panorama generation. 2) We pioneer the Layered 3D Panorama as underlying representation to manage complex scene hierarchies and lift it into 3D Gaussians to splat detailed 360-degree omnidirectional scenes with unconstrained viewing paths. Extensive experiments demonstrate that our framework generates state-of-the-art 3D panoramic scene in both full view consistency and immersive exploratory experience. We believe that Layerpano3D holds promise for advancing 3D panoramic scene creation with numerous applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google