DreamScene4D: Dynamic Multi-Object Scene Generation from Monocular Videos

要約

ビュー予測生成モデルは、レンダリングとスコア蒸留目標を通じてオブジェクト中心の画像とビデオを 3D および 4D に引き上げるための強力な事前確率を提供します。
ここで疑問が残ります: 完全なマルチオブジェクトのダイナミック シーンをリフティングする場合はどうなるでしょうか?
この方向には 2 つの課題があります。1 つ目は、レンダリング エラー勾配がオブジェクトの高速モーションを回復するには不十分な場合が多いこと、2 つ目は、ビュー予測生成モデルがシーン全体よりもオブジェクトに対してはるかに効果的に機能するため、現時点ではスコア蒸留目標をシーンに適用できないことです。
直接レベルを上げます。
DreamScene4D は、360 度の新しいビュー合成を介して単眼ビデオから複数のオブジェクトの 3D ダイナミック シーンを生成する最初のアプローチです。
私たちの重要な洞察は、ビデオ シーンを背景トラックとオブジェクト トラックに因数分解すると同時に、オブジェクトの動きを 3 つのコンポーネント (オブジェクト中心の変形、オブジェクトからワールド フレームへの変換、およびカメラの動き) に因数分解する「分解 – 再構成」アプローチです。
このような分解により、レンダリング エラー勾配とオブジェクト ビュー予測モデルがオブジェクトの 3D 完成と変形を回復できるようになり、バウンディング ボックス トラックがシーン内の大きなオブジェクトの動きをガイドします。
挑戦的な DAVIS、キューブリック、および自分で撮影したビデオに関する広範な結果を、定量的な比較とユーザーの好みの調査とともに示します。
4D シーンの生成に加えて、DreamScene4D は、推定された 3D 軌跡を 2D に投影することにより、正確な 2D 永続的なポイント トラックを取得します。
私たちはコードを公開し、私たちの研究がビデオからのきめ細かい 4D の理解に関するさらなる研究を刺激することを願っています。

要約(オリジナル)

View-predictive generative models provide strong priors for lifting object-centric images and videos into 3D and 4D through rendering and score distillation objectives. A question then remains: what about lifting complete multi-object dynamic scenes? There are two challenges in this direction: First, rendering error gradients are often insufficient to recover fast object motion, and second, view predictive generative models work much better for objects than whole scenes, so, score distillation objectives cannot currently be applied at the scene level directly. We present DreamScene4D, the first approach to generate 3D dynamic scenes of multiple objects from monocular videos via 360-degree novel view synthesis. Our key insight is a ‘decompose-recompose’ approach that factorizes the video scene into the background and object tracks, while also factorizing object motion into 3 components: object-centric deformation, object-to-world-frame transformation, and camera motion. Such decomposition permits rendering error gradients and object view-predictive models to recover object 3D completions and deformations while bounding box tracks guide the large object movements in the scene. We show extensive results on challenging DAVIS, Kubric, and self-captured videos with quantitative comparisons and a user preference study. Besides 4D scene generation, DreamScene4D obtains accurate 2D persistent point track by projecting the inferred 3D trajectories to 2D. We will release our code and hope our work will stimulate more research on fine-grained 4D understanding from videos.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google