Periodic Vibration Gaussian: Dynamic Urban Scene Reconstruction and Real-time Rendering

要約

ダイナミックで大規模な都市シーンのモデリングは、非常に複雑な幾何学的構造と、空間と時間の両方における制約のないダイナミクスのため、困難です。
従来の方法では、多くの場合、静的要素と動的要素を分離する高レベルのアーキテクチャ事前設定が採用されており、その結果、それらの相乗的な相互作用が最適に捕捉されませんでした。
この課題に対処するために、周期振動ガウス (PVG) と呼ばれる統一表現モデルを提案します。
PVG は、周期的な振動ベースの時間ダイナミクスを導入することにより、もともと静的なシーン表現用に設計された効率的な 3D ガウス スプラッティング技術に基づいて構築されています。
この革新により、PVG はダイナミックな都市シーンのさまざまなオブジェクトや要素の特性をエレガントかつ均一に表現できるようになります。
まばらなトレーニングデータを使用して時間的にコヒーレントで大規模なシーン表現の学習を強化するために、新しい時間的平滑化メカニズムと位置を意識した適応制御戦略をそれぞれ導入します。
Waymo Open Dataset と KITTI ベンチマークに関する広範な実験により、PVG が動的シーンと静的シーンの両方の再構成と新しいビュー合成の両方において最先端の代替手段を上回ることが実証されました。
特に、PVG は手動でラベル付けされたオブジェクト境界ボックスや高価なオプティカル フロー推定に依存せずにこれを実現します。
さらに、PVG は、最良の代替品と比較して、レンダリングにおいて 900 倍の高速化を示します。

要約(オリジナル)

Modeling dynamic, large-scale urban scenes is challenging due to their highly intricate geometric structures and unconstrained dynamics in both space and time. Prior methods often employ high-level architectural priors, separating static and dynamic elements, resulting in suboptimal capture of their synergistic interactions. To address this challenge, we present a unified representation model, called Periodic Vibration Gaussian (PVG). PVG builds upon the efficient 3D Gaussian splatting technique, originally designed for static scene representation, by introducing periodic vibration-based temporal dynamics. This innovation enables PVG to elegantly and uniformly represent the characteristics of various objects and elements in dynamic urban scenes. To enhance temporally coherent and large scene representation learning with sparse training data, we introduce a novel temporal smoothing mechanism and a position-aware adaptive control strategy respectively. Extensive experiments on Waymo Open Dataset and KITTI benchmarks demonstrate that PVG surpasses state-of-the-art alternatives in both reconstruction and novel view synthesis for both dynamic and static scenes. Notably, PVG achieves this without relying on manually labeled object bounding boxes or expensive optical flow estimation. Moreover, PVG exhibits 900-fold acceleration in rendering over the best alternative.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google