SpectroMotion: Dynamic 3D Reconstruction of Specular Scenes

要約

我々は、3D ガウス スプラッティング (3DGS) と物理ベース レンダリング (PBR) および変形フィールドを組み合わせて動的な鏡面反射シーンを再構築する新しいアプローチである SpectroMotion を紹介します。
3DGS を拡張して動的シーンをモデル化するこれまでの方法では、鏡面を正確に表現するのが困難でした。
私たちの方法は、変形中の正確な表面法線計算のための残差補正技術を導入することによってこの制限に対処し、時間変化する照明条件に適応する変形可能な環境マップによって補完されます。
シーンのジオメトリと鏡面カラー予測の両方を大幅に強化する、粗いトレーニング戦略から細かいトレーニング戦略を実装します。
私たちのモデルは、動的鏡面オブジェクトを含むシーンのビュー合成に関して従来の方法よりも優れていること、また、このモデルが、フォトリアリスティックな現実世界の動的鏡面シーンを合成できる唯一の既存の 3DGS 方法であり、複雑なレンダリングにおいて最先端の方法よりも優れていることを実証します。
ダイナミックでスペキュラーなシーン。

要約(オリジナル)

We present SpectroMotion, a novel approach that combines 3D Gaussian Splatting (3DGS) with physically-based rendering (PBR) and deformation fields to reconstruct dynamic specular scenes. Previous methods extending 3DGS to model dynamic scenes have struggled to accurately represent specular surfaces. Our method addresses this limitation by introducing a residual correction technique for accurate surface normal computation during deformation, complemented by a deformable environment map that adapts to time-varying lighting conditions. We implement a coarse-to-fine training strategy that significantly enhances both scene geometry and specular color prediction. We demonstrate that our model outperforms prior methods for view synthesis of scenes containing dynamic specular objects and that it is the only existing 3DGS method capable of synthesizing photorealistic real-world dynamic specular scenes, outperforming state-of-the-art methods in rendering complex, dynamic, and specular scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google