要約
単眼ビデオから 4D (ダイナミック 3D) シーンを作成する方法である CAT4D を紹介します。
CAT4D は、データセットの多様な組み合わせでトレーニングされたマルチビュー ビデオ拡散モデルを活用し、指定されたカメラ ポーズとタイムスタンプでの新しいビュー合成を可能にします。
新しいサンプリング手法と組み合わせることで、このモデルは単一の単眼ビデオを多視点ビデオに変換し、変形可能な 3D ガウス表現の最適化を通じて堅牢な 4D 再構成を可能にします。
新しいビュー合成と動的シーン再構成のベンチマークで競争力のあるパフォーマンスを実証し、実際のビデオまたは生成されたビデオから 4D シーンを生成するクリエイティブな機能を強調します。
結果とインタラクティブなデモについては、プロジェクト ページ \url{cat-4d.github.io} を参照してください。
要約(オリジナル)
We present CAT4D, a method for creating 4D (dynamic 3D) scenes from monocular video. CAT4D leverages a multi-view video diffusion model trained on a diverse combination of datasets to enable novel view synthesis at any specified camera poses and timestamps. Combined with a novel sampling approach, this model can transform a single monocular video into a multi-view video, enabling robust 4D reconstruction via optimization of a deformable 3D Gaussian representation. We demonstrate competitive performance on novel view synthesis and dynamic scene reconstruction benchmarks, and highlight the creative capabilities for 4D scene generation from real or generated videos. See our project page for results and interactive demos: \url{cat-4d.github.io}.
arxiv情報
| 著者 | Rundi Wu,Ruiqi Gao,Ben Poole,Alex Trevithick,Changxi Zheng,Jonathan T. Barron,Aleksander Holynski |
| 発行日 | 2024-11-27 18:57:16+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google