RainyScape: Unsupervised Rainy Scene Reconstruction using Decoupled Neural Rendering

要約

我々は、多視点雨画像のコレクションからきれいなシーンを再構成するための教師なしフレームワークである RainyScape を提案します。
RainyScape は 2 つの主要モジュールで構成されています。ニューラル レンダリング モジュールと、予測ネットワークとシーンの雨の特徴を捕捉する学習可能な潜在埋め込みを組み込んだ雨予測モジュールです。
具体的には、ニューラル ネットワークのスペクトル バイアス特性に基づいて、まずニューラル レンダリング パイプラインを最適化して、低周波数のシーン表現を取得します。
続いて、提案された適応型方向依存型勾配ベース再構成損失によって駆動される 2 つのモジュールを共同で最適化します。これにより、ネットワークがシーンの詳細と雨筋を区別できるようになり、関連するコンポーネントへの勾配の伝播が容易になります。
古典的なニューラル放射輝度フィールドと最近提案された 3D ガウス スプラッティングの両方に関する広範な実験により、雨の縞を効果的に除去し、きれいな画像をレンダリングし、最先端のパフォーマンスを達成する点で私たちの方法の優位性が実証されました。
構築された高品質なデータセットとソースコードは公開されます。

要約(オリジナル)

We propose RainyScape, an unsupervised framework for reconstructing clean scenes from a collection of multi-view rainy images. RainyScape consists of two main modules: a neural rendering module and a rain-prediction module that incorporates a predictor network and a learnable latent embedding that captures the rain characteristics of the scene. Specifically, based on the spectral bias property of neural networks, we first optimize the neural rendering pipeline to obtain a low-frequency scene representation. Subsequently, we jointly optimize the two modules, driven by the proposed adaptive direction-sensitive gradient-based reconstruction loss, which encourages the network to distinguish between scene details and rain streaks, facilitating the propagation of gradients to the relevant components. Extensive experiments on both the classic neural radiance field and the recently proposed 3D Gaussian splatting demonstrate the superiority of our method in effectively eliminating rain streaks and rendering clean images, achieving state-of-the-art performance. The constructed high-quality dataset and source code will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google