Asymmetric Dual-Decoder U-Net for Joint Rain and Haze Removal

要約

この作品は、共同の雨と霞の除去の問題を研究しています。
実際のシナリオでは、雨と霞がよく発生する2つの一般的な気象現象であるため、シーンイメージの鮮明度と品質が大幅に低下し、自動運転などのビジュアルアプリケーションのパフォーマンスが低下する可能性があります。
ただし、シーン画像の雨と霞を一緒に除去することは不適切で困難であり、霞と雨の存在と大気の光の変化の両方がシーン情報を劣化させる可能性があります。
現在の方法は、汚染除去部分に焦点を合わせているため、大気光の変化によって影響を受けるシーン情報の復元は無視されます。
前述の課題に対処するために、非対称デュアルデコーダU-Net（ADU-Net）という名前の新しいディープニューラルネットワークを提案します。
ADU-Netは、汚染残留物とシーン残留物の両方を生成して、シーン情報の忠実度を維持しながら、雨と霞を効率的に除去します。
広範な実験により、RainCityscapes、BID Rain、SPA-Dataなどの合成データと実際のデータベンチマークの両方で、私たちの作業が既存の最先端の方法を大幅に上回っていることを示しています。
たとえば、RainCityscapes/SPA-Dataの最新のPSNR値をそれぞれ2.26/4.57改善します。
コードは、研究コミュニティが自由に利用できるようになります。

要約(オリジナル)

This work studies the joint rain and haze removal problem. In real-life scenarios, rain and haze, two often co-occurring common weather phenomena, can greatly degrade the clarity and quality of the scene images, leading to a performance drop in the visual applications, such as autonomous driving. However, jointly removing the rain and haze in scene images is ill-posed and challenging, where the existence of haze and rain and the change of atmosphere light, can both degrade the scene information. Current methods focus on the contamination removal part, thus ignoring the restoration of the scene information affected by the change of atmospheric light. We propose a novel deep neural network, named Asymmetric Dual-decoder U-Net (ADU-Net), to address the aforementioned challenge. The ADU-Net produces both the contamination residual and the scene residual to efficiently remove the rain and haze while preserving the fidelity of the scene information. Extensive experiments show our work outperforms the existing state-of-the-art methods by a considerable margin in both synthetic data and real-world data benchmarks, including RainCityscapes, BID Rain, and SPA-Data. For instance, we improve the state-of-the-art PSNR value by 2.26/4.57 on the RainCityscapes/SPA-Data, respectively. Codes will be made available freely to the research community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google