Efficient Gaussian Splatting for Monocular Dynamic Scene Rendering via Sparse Time-Variant Attribute Modeling

要約

単眼ビデオから動的なシーンをレンダリングすることは、重要でありながら挑戦的な作業です。
最近の変形可能なガウスの飛び散は、実際の動的シーンを表すための堅牢なソリューションとして浮上しています。
しかし、それはしばしば非常に冗長なガウス人につながり、すべてのトレーニングビューをさまざまな時刻ステップで適合させようとし、レンダリング速度が遅くなります。
さらに、静的領域のガウス人の属性は時間不変であるため、静的領域で不安を引き起こす可能性のあるすべてのガウスをモデル化する必要はありません。
実際には、動的なシーンのレンダリング速度の主要なボトルネックは、ガウスの数です。
これに応じて、スパースタイムバリアント属性モデリングを介した動的シーンを表す効率的な動的ガウススプラッティング（EDGS）を導入します。
私たちのアプローチは、古典的なカーネル表現を介して計算される密なガウスの動きを使用して、スパースアンカーグリッド表現を使用して動的シーンを定式化します。
さらに、静的領域に対応するアンカーを効率的に除外する監視されていない戦略を提案します。
変形可能なオブジェクトに関連付けられたアンカーのみがMLPに入力され、時間変化属性を照会します。
2つの実際のデータセットでの実験は、EDGが以前の最先端の方法と比較して優れたレンダリング品質でレンダリング速度を大幅に改善することを示しています。

要約(オリジナル)

Rendering dynamic scenes from monocular videos is a crucial yet challenging task. The recent deformable Gaussian Splatting has emerged as a robust solution to represent real-world dynamic scenes. However, it often leads to heavily redundant Gaussians, attempting to fit every training view at various time steps, leading to slower rendering speeds. Additionally, the attributes of Gaussians in static areas are time-invariant, making it unnecessary to model every Gaussian, which can cause jittering in static regions. In practice, the primary bottleneck in rendering speed for dynamic scenes is the number of Gaussians. In response, we introduce Efficient Dynamic Gaussian Splatting (EDGS), which represents dynamic scenes via sparse time-variant attribute modeling. Our approach formulates dynamic scenes using a sparse anchor-grid representation, with the motion flow of dense Gaussians calculated via a classical kernel representation. Furthermore, we propose an unsupervised strategy to efficiently filter out anchors corresponding to static areas. Only anchors associated with deformable objects are input into MLPs to query time-variant attributes. Experiments on two real-world datasets demonstrate that our EDGS significantly improves the rendering speed with superior rendering quality compared to previous state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google