SpectroMotion: Dynamic 3D Reconstruction of Specular Scenes

要約

3Dガウススプラッティング（3DG）と物理ベースのレンダリング（PBR）および変形場を組み合わせて、動的な鏡面シーンを再構築する新しいアプローチであるSpectromotionを提示します。
動的シーンをモデル化するために3DGを拡張する以前の方法は、鏡面表面を正確に表すのに苦労しています。
私たちの方法は、時変照明条件に適応する変形可能な環境マップによって補完される、変形中に正確な表面正常計算のための残留補正技術を導入することにより、この制限に対処します。
シーンのジオメトリと鏡面色の色の予測を大幅に強化する粗からファイントレーニング戦略を実装します。
これは、複雑、動的、鏡面シーンをレンダリングする際に最先端の方法を上回る、光リアリスティックな現実世界の動的なシーンを合成できる唯一の既存の3DGSメソッドです。

要約(オリジナル)

We present SpectroMotion, a novel approach that combines 3D Gaussian Splatting (3DGS) with physically-based rendering (PBR) and deformation fields to reconstruct dynamic specular scenes. Previous methods extending 3DGS to model dynamic scenes have struggled to represent specular surfaces accurately. Our method addresses this limitation by introducing a residual correction technique for accurate surface normal computation during deformation, complemented by a deformable environment map that adapts to time-varying lighting conditions. We implement a coarse-to-fine training strategy significantly enhancing scene geometry and specular color prediction. It is the only existing 3DGS method capable of synthesizing photorealistic real-world dynamic specular scenes, outperforming state-of-the-art methods in rendering complex, dynamic, and specular scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google