要約
2D ビジュアル生成の最近の開発は目覚ましい成功を収めています。
ただし、大規模な 4D データと効果的なモデル設計が不足しているため、現実世界のアプリケーションでは 3D および 4D の生成が依然として困難です。
この論文では、日常生活で一般的に観察されるカメラとオブジェクトの動きを活用して、一般的な 3D および 4D の生成を共同で調査することを提案します。
コミュニティには現実世界の 4D データが不足しているため、最初にビデオからカメラのポーズとオブジェクトの動きの強度を取得するためのデータ キュレーション パイプラインを提案します。
このパイプラインに基づいて、大規模な実世界 4D シーン データセット CamVid-30K を導入します。
すべての 3D および 4D データを活用することで、あらゆる 3D または 4D シーンを制作できるフレームワーク GenXD を開発します。
私たちは、カメラとオブジェクトの動きを解きほぐし、3D データと 4D データの両方からシームレスに学習するマルチビュー時間モジュールを提案します。
さらに、GenXD はマスクされた潜在条件を採用して、さまざまな条件付けビューをサポートします。
GenXD は、カメラの軌跡に従うビデオと、3D 表現にリフトアップできる一貫した 3D ビューを生成できます。
私たちは、さまざまな現実世界および合成データセットにわたって広範な評価を実行し、3D および 4D 生成における以前の方法と比較して GenXD の有効性と多用途性を実証しています。
要約(オリジナル)
Recent developments in 2D visual generation have been remarkably successful. However, 3D and 4D generation remain challenging in real-world applications due to the lack of large-scale 4D data and effective model design. In this paper, we propose to jointly investigate general 3D and 4D generation by leveraging camera and object movements commonly observed in daily life. Due to the lack of real-world 4D data in the community, we first propose a data curation pipeline to obtain camera poses and object motion strength from videos. Based on this pipeline, we introduce a large-scale real-world 4D scene dataset: CamVid-30K. By leveraging all the 3D and 4D data, we develop our framework, GenXD, which allows us to produce any 3D or 4D scene. We propose multiview-temporal modules, which disentangle camera and object movements, to seamlessly learn from both 3D and 4D data. Additionally, GenXD employs masked latent conditions to support a variety of conditioning views. GenXD can generate videos that follow the camera trajectory as well as consistent 3D views that can be lifted into 3D representations. We perform extensive evaluations across various real-world and synthetic datasets, demonstrating GenXD’s effectiveness and versatility compared to previous methods in 3D and 4D generation.
arxiv情報
| 著者 | Yuyang Zhao,Chung-Ching Lin,Kevin Lin,Zhiwen Yan,Linjie Li,Zhengyuan Yang,Jianfeng Wang,Gim Hee Lee,Lijuan Wang |
| 発行日 | 2024-11-05 06:08:43+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google