Space-time 2D Gaussian Splatting for Accurate Surface Reconstruction under Complex Dynamic Scenes

要約

従来の表面再構成手法では、複数人の活動や人間と物体の相互作用を含む現実世界の複雑な動的シーンを扱う場合、幾何学的精度が低いか、トレーニング時間が長くなるという問題がありました。
複雑なシーンの動的なコンテンツとオクルージョンに取り組むために、時空間 2D ガウス スプラッティング アプローチを紹介します。
具体的には、動的シーンの幾何学的品質を向上させるために、正規の 2D ガウス スプラットを学習し、これらの 2D ガウス スプラットを変形しながら、深度および法線正則化を導入することでオブジェクトの表面に位置するガウスのディスクを強化します。
さらに、複雑なシーンにおけるオクルージョンの問題に取り組むために、オクルージョンされた領域のサーフェス回復をさらに低減する合成不透明度変形戦略を導入します。
現実世界のスパースビュービデオデータセットと単眼の動的データセットを用いた実験では、特に細部の表面に関して、私たちの再構成が最先端の方法よりも優れていることが実証されています。
プロジェクト ページとその他のビジュアライゼーションは、https://tb2-sy.github.io/st-2dgs/ でご覧いただけます。

要約(オリジナル)

Previous surface reconstruction methods either suffer from low geometric accuracy or lengthy training times when dealing with real-world complex dynamic scenes involving multi-person activities, and human-object interactions. To tackle the dynamic contents and the occlusions in complex scenes, we present a space-time 2D Gaussian Splatting approach. Specifically, to improve geometric quality in dynamic scenes, we learn canonical 2D Gaussian splats and deform these 2D Gaussian splats while enforcing the disks of the Gaussian located on the surface of the objects by introducing depth and normal regularizers. Further, to tackle the occlusion issues in complex scenes, we introduce a compositional opacity deformation strategy, which further reduces the surface recovery of those occluded areas. Experiments on real-world sparse-view video datasets and monocular dynamic datasets demonstrate that our reconstructions outperform state-of-the-art methods, especially for the surface of the details. The project page and more visualizations can be found at: https://tb2-sy.github.io/st-2dgs/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google