DeRainGS: Gaussian Splatting for Enhanced Scene Reconstruction in Rainy Environments

要約

雨の悪条件下での再建は、視界の低下と視覚認識の歪みにより、重大な課題を引き起こします。
これらの条件は、自律計画から環境モニタリングに至るまでのアプリケーションに不可欠な幾何マップの品質を著しく損なう可能性があります。
これらの課題に対応して、この研究では、雨天環境における 3D 再構成 (3DRRE) という新しいタスクを導入します。これは、特に雨天条件下で 3D シーンを再構成する複雑さに対処するように設計されています。
このタスクのベンチマークを行うために、さまざまな強度の雨筋と雨滴を特徴とする合成画像と現実世界のシーン画像の両方の多様なコレクションで構成される HydroViews データセットを構築します。
さらに、我々は、不利な降雨環境での再構築に特化した初の 3DGS 手法である DeRainGS を提案します。
幅広い降雨シナリオにわたる広範な実験により、私たちの手法が最先端のパフォーマンスを実現し、既存のオクルージョンフリー手法を著しく上回ることが実証されました。

要約(オリジナル)

Reconstruction under adverse rainy conditions poses significant challenges due to reduced visibility and the distortion of visual perception. These conditions can severely impair the quality of geometric maps, which is essential for applications ranging from autonomous planning to environmental monitoring. In response to these challenges, this study introduces the novel task of 3D Reconstruction in Rainy Environments (3DRRE), specifically designed to address the complexities of reconstructing 3D scenes under rainy conditions. To benchmark this task, we construct the HydroViews dataset that comprises a diverse collection of both synthesized and real-world scene images characterized by various intensities of rain streaks and raindrops. Furthermore, we propose DeRainGS, the first 3DGS method tailored for reconstruction in adverse rainy environments. Extensive experiments across a wide range of rain scenarios demonstrate that our method delivers state-of-the-art performance, remarkably outperforming existing occlusion-free methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google