Unpaired Overwater Image Defogging Using Prior Map Guided CycleGAN

要約

深層学習ベースの方法は、画像の曇り除去で優れたパフォーマンスを達成しました。
ただし、既存の方法は主に陸上シーン用に開発されており、水上シーンには通常、広大な空と水が含まれているため、水上霧の画像を処理する場合はパフォーマンスが低下します。
この作業では、水上シーンの画像の曇りを除去するための事前マップ Guided CycleGAN (PG-CycleGAN) を提案します。
画像内の水上のオブジェクトの回復を促進するために、2 つの損失関数がネットワークに利用されます。このネットワークでは、前のマップがダーク チャネルを反転するように設計されており、最小値と最大値の正規化を使用して空が抑制され、オブジェクトが強調されます。
ただし、ペアになっていないトレーニング セットが原因で、ネットワークは、霧のある画像から霧のない画像への制約の少ないドメイン マッピングを学習し、アーティファクトや詳細の損失につながる可能性があります。
したがって、この問題を軽減するために、直感的な Upscaling Inception Module (UIM) と Long-range Residual Coarse-to-fine フレームワーク (LRC) を提案します。
定性的および定量的比較に関する広範な実験により、提案された方法が最先端の教師あり、半教師あり、および教師なしの曇り除去アプローチよりも優れていることが示されています。

要約(オリジナル)

Deep learning-based methods have achieved significant performance for image defogging. However, existing methods are mainly developed for land scenes and perform poorly when dealing with overwater foggy images, since overwater scenes typically contain large expanses of sky and water. In this work, we propose a Prior map Guided CycleGAN (PG-CycleGAN) for defogging of images with overwater scenes. To promote the recovery of the objects on water in the image, two loss functions are exploited for the network where a prior map is designed to invert the dark channel and the min-max normalization is used to suppress the sky and emphasize objects. However, due to the unpaired training set, the network may learn an under-constrained domain mapping from foggy to fog-free image, leading to artifacts and loss of details. Thus, we propose an intuitive Upscaling Inception Module (UIM) and a Long-range Residual Coarse-to-fine framework (LRC) to mitigate this issue. Extensive experiments on qualitative and quantitative comparisons demonstrate that the proposed method outperforms the state-of-the-art supervised, semi-supervised, and unsupervised defogging approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google