4D Gaussian Splatting in the Wild with Uncertainty-Aware Regularization

要約

動的シーンの新しいビュー合成は、拡張現実や仮想現実を含むさまざまなアプリケーションで重要になってきています。
我々は、何気なく記録された単眼ビデオからの動的なシーンのための新しい 4D ガウス スプラッティング (4DGS) アルゴリズムを提案します。
これらの実世界のビデオに対する既存の作業の過剰適合の問題を克服するために、観測がほとんどない不確実な領域を特定し、そのような領域に拡散モデルと深さの滑らかさに基づいて追加の事前分布を選択的に課す不確実性を意識した正則化を導入します。
このアプローチにより、新しいビュー合成のパフォーマンスとトレーニング画像再構成の品質の両方が向上します。
また、Structure from Motion (SfM) アルゴリズムが信頼性の高い 3D ランドマークを提供できないという、高速で移動する動的領域における 4DGS の初期化の問題も特定します。
このような領域でガウス プリミティブを初期化するために、推定された深度マップとシーン フローを使用した動的領域高密度化手法を提案します。
私たちの実験は、提案された方法が手持ちの単眼カメラで撮影されたビデオからの4DGS再構成のパフォーマンスを向上させ、数ショットの静的シーンの再構成でも有望な結果を示すことを示しています。

要約(オリジナル)

Novel view synthesis of dynamic scenes is becoming important in various applications, including augmented and virtual reality. We propose a novel 4D Gaussian Splatting (4DGS) algorithm for dynamic scenes from casually recorded monocular videos. To overcome the overfitting problem of existing work for these real-world videos, we introduce an uncertainty-aware regularization that identifies uncertain regions with few observations and selectively imposes additional priors based on diffusion models and depth smoothness on such regions. This approach improves both the performance of novel view synthesis and the quality of training image reconstruction. We also identify the initialization problem of 4DGS in fast-moving dynamic regions, where the Structure from Motion (SfM) algorithm fails to provide reliable 3D landmarks. To initialize Gaussian primitives in such regions, we present a dynamic region densification method using the estimated depth maps and scene flow. Our experiments show that the proposed method improves the performance of 4DGS reconstruction from a video captured by a handheld monocular camera and also exhibits promising results in few-shot static scene reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google