DynaSplat: Dynamic-Static Gaussian Splatting with Hierarchical Motion Decomposition for Scene Reconstruction

要約

複雑で絶えず変化する環境を再構築することは、コンピュータービジョンの中心的な野望のままですが、実際のダイナミクスの複雑さの前に既存のソリューションがしばしば崩れることがよくあります。
ダイナスプラートは、動的な静的分離と階層モーションモデリングを統合することにより、ガウスのスプラッティングを動的なシーンに拡張するアプローチを提示します。
まず、変形オフセット統計と2Dモーションフローの一貫性の新規融合を通じて、シーン要素を静的または動的に分類し、空間表現を改良して、モーションが重要な場所に正確に焦点を合わせます。
次に、粗いグローバルな変換ときめ細かい局所的な動きの両方をキャプチャする階層モーションモデリング戦略を導入し、複雑で非剛性の動きの正確な取り扱いを可能にします。
最後に、物理的にベースの不透明度の推定を統合して、困難な閉塞や視点のシフトの下でも、視覚的に一貫した再構成を確保します。
挑戦的なデータセットに関する広範な実験により、Dynasplatは正確さとリアリズムの最先端の代替案を上回るだけでなく、ダイナミックシーンの再構築へのより直感的でコンパクトで効率的なルートを提供することが明らかになりました。

要約(オリジナル)

Reconstructing intricate, ever-changing environments remains a central ambition in computer vision, yet existing solutions often crumble before the complexity of real-world dynamics. We present DynaSplat, an approach that extends Gaussian Splatting to dynamic scenes by integrating dynamic-static separation and hierarchical motion modeling. First, we classify scene elements as static or dynamic through a novel fusion of deformation offset statistics and 2D motion flow consistency, refining our spatial representation to focus precisely where motion matters. We then introduce a hierarchical motion modeling strategy that captures both coarse global transformations and fine-grained local movements, enabling accurate handling of intricate, non-rigid motions. Finally, we integrate physically-based opacity estimation to ensure visually coherent reconstructions, even under challenging occlusions and perspective shifts. Extensive experiments on challenging datasets reveal that DynaSplat not only surpasses state-of-the-art alternatives in accuracy and realism but also provides a more intuitive, compact, and efficient route to dynamic scene reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google