Not Just Streaks: Towards Ground Truth for Single Image Deraining

要約

我々は、現実世界の雨の画像ときれいな画像のペアの大規模データセットと、雨筋や雨の蓄積によって引き起こされる劣化を画像から除去する方法を提案します。
現実世界には脱レイン用のデータセットが存在しないため、現在の最先端の手法は合成データに依存しているため、sim2real ドメイン ギャップによって制限されます。
さらに、実際にペアになったデータセットが存在しないため、厳密な評価が依然として課題となっています。
私たちは、雨以外の変動を細心の注意を払って制御することで、実際のペアの脱水データセットを収集することで、このギャップを埋めます。
私たちのデータセットは、現実世界の多様な雨現象 (例: 雨筋や雨の蓄積) のペアのトレーニングと定量的評価を可能にします。
雨現象に強い表現を学習するために、雨の画像ときれいな画像の間の雨に強い損失を最小限に抑えることによって基礎となるシーンを再構築するディープ ニューラル ネットワークを提案します。
広範な実験により、私たちのモデルがさまざまな条件下で実際の雨の画像に対して最先端のディレイニング手法よりも優れていることが実証されました。
プロジェクトの Web サイト: https://visual.ee.ucla.edu/gt_rain.htm/。

要約(オリジナル)

We propose a large-scale dataset of real-world rainy and clean image pairs and a method to remove degradations, induced by rain streaks and rain accumulation, from the image. As there exists no real-world dataset for deraining, current state-of-the-art methods rely on synthetic data and thus are limited by the sim2real domain gap; moreover, rigorous evaluation remains a challenge due to the absence of a real paired dataset. We fill this gap by collecting a real paired deraining dataset through meticulous control of non-rain variations. Our dataset enables paired training and quantitative evaluation for diverse real-world rain phenomena (e.g. rain streaks and rain accumulation). To learn a representation robust to rain phenomena, we propose a deep neural network that reconstructs the underlying scene by minimizing a rain-robust loss between rainy and clean images. Extensive experiments demonstrate that our model outperforms the state-of-the-art deraining methods on real rainy images under various conditions. Project website: https://visual.ee.ucla.edu/gt_rain.htm/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google