Voyager: Long-Range and World-Consistent Video Diffusion for Explorable 3D Scene Generation

要約

ビデオゲームやバーチャルリアリティのような実世界のアプリケーションでは、ユーザがカスタムカメラの軌跡に沿って探索できる3Dシーンをモデル化する能力が求められることが多い。テキストや画像から3Dオブジェクトを生成することには大きな進歩があったが、長距離で3D一貫性のある探索可能な3Dシーンを生成することは、依然として複雑で困難な問題である。本研究では、ユーザが定義したカメラ軌道を持つ1枚の画像から、ワールドコンシステントな3D点群シーケンスを生成する、新しいビデオ拡散フレームワークであるVoyagerを紹介する。既存のアプローチとは異なり、Voyagerは、3D再構成パイプライン（例えば、動きからの構造やマルチビューステレオ）の必要性を排除し、フレーム間で固有の一貫性を持つエンドツーエンドのシーン生成と再構成を達成する。我々の手法は3つの重要なコンポーネントを統合している：1) ワールドコンシステントビデオ拡散：グローバルな一貫性を確保するために、既存の世界観測を条件として、整列されたRGBと深度ビデオシーケンスを共同で生成する統一アーキテクチャ 2)長距離ワールド探索：3）スケーラブルなデータエンジン：任意の動画に対するカメラポーズ推定とメトリック深度予測を自動化する動画再構成パイプラインにより、手作業による3Dアノテーションを行うことなく、大規模で多様な学習データのキュレーションを可能にする。これらの設計を組み合わせることで、視覚的な品質と幾何学的な精度において既存の手法よりも明らかに向上し、多目的な応用が可能になります。

要約(オリジナル)

Real-world applications like video gaming and virtual reality often demand the ability to model 3D scenes that users can explore along custom camera trajectories. While significant progress has been made in generating 3D objects from text or images, creating long-range, 3D-consistent, explorable 3D scenes remains a complex and challenging problem. In this work, we present Voyager, a novel video diffusion framework that generates world-consistent 3D point-cloud sequences from a single image with user-defined camera path. Unlike existing approaches, Voyager achieves end-to-end scene generation and reconstruction with inherent consistency across frames, eliminating the need for 3D reconstruction pipelines (e.g., structure-from-motion or multi-view stereo). Our method integrates three key components: 1) World-Consistent Video Diffusion: A unified architecture that jointly generates aligned RGB and depth video sequences, conditioned on existing world observation to ensure global coherence 2) Long-Range World Exploration: An efficient world cache with point culling and an auto-regressive inference with smooth video sampling for iterative scene extension with context-aware consistency, and 3) Scalable Data Engine: A video reconstruction pipeline that automates camera pose estimation and metric depth prediction for arbitrary videos, enabling large-scale, diverse training data curation without manual 3D annotations. Collectively, these designs result in a clear improvement over existing methods in visual quality and geometric accuracy, with versatile applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL