Gaussian in the Dark: Real-Time View Synthesis From Inconsistent Dark Images Using Gaussian Splatting

要約

3D ガウス スプラッティングは、一貫したマルチビュー画像を入力として使用して、注目に値する斬新なビューを合成できる強力な表現として最近登場しました。
ただし、シーンが完全に照明されていない暗い環境で撮影された画像は、かなりの明るさの変動とマルチビューの不一致を示す可能性があり、これが 3D ガウス スプラッティングに大きな課題をもたらし、そのパフォーマンスを大幅に低下させることに気づきました。
この問題に取り組むために、我々は Gaussian-DK を提案します。
不一致が主にカメラ画像によって引き起こされることを観察し、一連の異方性 3D ガウスを使用して物理世界の一貫した放射輝度フィールドを表し、マルチビューの不一致を補償するカメラ応答モジュールを設計します。
また、浮遊物であることが判明するカメラ近くのガウス分布の分割やクローン作成を制限する、ステップベースの勾配スケーリング戦略も導入します。
私たちが提案したベンチマーク データセットの実験では、Gaussian-DK がゴーストやフローター アーティファクトのない高品質のレンダリングを生成し、既存の方法を大幅に上回るパフォーマンスを示していることが実証されています。
さらに、露光量を制御することで、影部分のディテールを鮮明に表現したライトアップ画像も合成できます。

要約(オリジナル)

3D Gaussian Splatting has recently emerged as a powerful representation that can synthesize remarkable novel views using consistent multi-view images as input. However, we notice that images captured in dark environments where the scenes are not fully illuminated can exhibit considerable brightness variations and multi-view inconsistency, which poses great challenges to 3D Gaussian Splatting and severely degrades its performance. To tackle this problem, we propose Gaussian-DK. Observing that inconsistencies are mainly caused by camera imaging, we represent a consistent radiance field of the physical world using a set of anisotropic 3D Gaussians, and design a camera response module to compensate for multi-view inconsistencies. We also introduce a step-based gradient scaling strategy to constrain Gaussians near the camera, which turn out to be floaters, from splitting and cloning. Experiments on our proposed benchmark dataset demonstrate that Gaussian-DK produces high-quality renderings without ghosting and floater artifacts and significantly outperforms existing methods. Furthermore, we can also synthesize light-up images by controlling exposure levels that clearly show details in shadow areas.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google