WonderWorld: Interactive 3D Scene Generation from a Single Image

要約

私たちは、ユーザーが 1 つの入力画像とユーザー指定のテキストに基づいて仮想環境を探索および形成できるようにする、インタラクティブ 3D シーン外挿のための新しいフレームワークである WonderWorld を紹介します。
シーン生成の視覚的品質は大幅に改善されましたが、既存の方法はオフラインで実行され、シーンの生成に数十分から数時間かかります。
Fast Gaussian Surfels とガイド付き拡散ベースの深さ推定方法を活用することで、WonderWorld は幾何学的に一貫した外挿を生成しながら、計算時間を大幅に削減します。
当社のフレームワークは、単一の A6000 GPU で 10 秒以内に接続された多様な 3D シーンを生成し、リアルタイムのユーザー インタラクションと探索を可能にします。
私たちは、ユーザーが単一の画像から没入型で潜在的に無限の仮想世界を迅速に生成してナビゲートできる、仮想現実、ゲーム、クリエイティブ デザインのアプリケーションにおける WonderWorld の可能性を実証します。
私たちのアプローチは、インタラクティブな 3D シーン生成における大幅な進歩を表しており、仮想環境でのユーザー主導のコンテンツ作成と探索に新たな可能性をもたらします。
再現性を確保するために完全なコードとソフトウェアをリリースします。
プロジェクトWebサイト：https://WonderWorld-2024.github.io/

要約(オリジナル)

We present WonderWorld, a novel framework for interactive 3D scene extrapolation that enables users to explore and shape virtual environments based on a single input image and user-specified text. While significant improvements have been made to the visual quality of scene generation, existing methods are run offline, taking tens of minutes to hours to generate a scene. By leveraging Fast Gaussian Surfels and a guided diffusion-based depth estimation method, WonderWorld generates geometrically consistent extrapolation while significantly reducing computational time. Our framework generates connected and diverse 3D scenes in less than 10 seconds on a single A6000 GPU, enabling real-time user interaction and exploration. We demonstrate the potential of WonderWorld for applications in virtual reality, gaming, and creative design, where users can quickly generate and navigate immersive, potentially infinite virtual worlds from a single image. Our approach represents a significant advancement in interactive 3D scene generation, opening up new possibilities for user-driven content creation and exploration in virtual environments. We will release full code and software for reproducibility. Project website: https://WonderWorld-2024.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google