WonderWorld: Interactive 3D Scene Generation from a Single Image

要約

WonderWorld は、ユーザーがインタラクティブにシーンのコンテンツとレイアウトを指定し、作成されたシーンを低遅延で確認できるようにする、インタラクティブ 3D シーン生成のための新しいフレームワークです。
大きな課題は、3D シーンの高速生成を達成することにあります。
既存のシーン生成アプローチでは、(1) 多くのビューと深度マップを段階的に生成すること、および (2) 時間のかかるシーン ジオメトリ表現の最適化が必要になることが多いため、速度が足りません。
シーン表現として Fast Layered Gaussian Surfels (FLAGS) を導入し、単一ビューからそれを生成するアルゴリズムを導入します。
私たちのアプローチは複数のビューを必要とせず、最適化時間を大幅に短縮するジオメトリベースの初期化を利用します。
もう 1 つの課題は、すべてのシーンを接続できる一貫したジオメトリを生成することです。
深度推定の部分的な調整を可能にするガイド付き深度拡散を導入します。
WonderWorld は、単一の A6000 GPU で 10 秒以内に接続された多様な 3D シーンを生成し、リアルタイムのユーザー インタラクションと探索を可能にします。
私たちは、仮想環境におけるユーザー主導のコンテンツ作成と探索に対する WonderWorld の可能性を実証します。
再現性を確保するために完全なコードとソフトウェアをリリースします。
プロジェクトウェブサイト：https://kovenyu.com/WonderWorld/。

要約(オリジナル)

We present WonderWorld, a novel framework for interactive 3D scene generation that enables users to interactively specify scene contents and layout and see the created scenes in low latency. The major challenge lies in achieving fast generation of 3D scenes. Existing scene generation approaches fall short of speed as they often require (1) progressively generating many views and depth maps, and (2) time-consuming optimization of the scene geometry representations. We introduce the Fast Layered Gaussian Surfels (FLAGS) as our scene representation and an algorithm to generate it from a single view. Our approach does not need multiple views, and it leverages a geometry-based initialization that significantly reduces optimization time. Another challenge is generating coherent geometry that allows all scenes to be connected. We introduce the guided depth diffusion that allows partial conditioning of depth estimation. WonderWorld generates connected and diverse 3D scenes in less than 10 seconds on a single A6000 GPU, enabling real-time user interaction and exploration. We demonstrate the potential of WonderWorld for user-driven content creation and exploration in virtual environments. We will release full code and software for reproducibility. Project website: https://kovenyu.com/WonderWorld/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google