Unsupervised haze removal from underwater images

要約

水中画像からヘイズ情報を除去する教師ありネットワークは、ペアデータセットとピクセル単位の損失関数を用いていくつか存在する。しかし、これらのネットワークの学習には大量のペアデータが必要であり、面倒で複雑で時間がかかる。また、教師なし学習において、敵対的損失関数とサイクル一貫性損失関数を直接使用することは、クリーン画像から水中画像へのマッピングが1対多であり、サイクル一貫性損失に対する制約が不正確であるため、不正確である。これらの問題に対処するため、我々は、ペアリングされていないデータを用いて、水中画像から霞を除去する新しい方法を提案する。我々のモデルは、Haze Disentanglement Network (HDN)を用いて、水中画像からヘイズとコンテンツ情報を切り離す。分離されたコンテンツは復元ネットワークによって、敵対的損失を使ってきれいな画像を生成する。そして、分離されたヘイズは、水中画像再生のガイドとして使用され、サイクルの一貫性損失に対する強い制約と性能向上がもたらされる。様々なアブレーション研究により、水中画像のヘイズとコンテンツが効果的に分離されることが示されました。徹底的な実験により、正確なサイクル一貫性制約と提案されたネットワークアーキテクチャが、より高い結果をもたらすために重要な役割を果たすことが明らかになりました。UFO-120、UWNet、UWScenes、UIEB水中データセットでの実験から、本手法の結果は視覚的にも定量的にも先行技術を凌駕していることがわかる。

要約(オリジナル)

Several supervised networks exist that remove haze information from underwater images using paired datasets and pixel-wise loss functions. However, training these networks requires large amounts of paired data which is cumbersome, complex and time-consuming. Also, directly using adversarial and cycle consistency loss functions for unsupervised learning is inaccurate as the underlying mapping from clean to underwater images is one-to-many, resulting in an inaccurate constraint on the cycle consistency loss. To address these issues, we propose a new method to remove haze from underwater images using unpaired data. Our model disentangles haze and content information from underwater images using a Haze Disentanglement Network (HDN). The disentangled content is used by a restoration network to generate a clean image using adversarial losses. The disentangled haze is then used as a guide for underwater image regeneration resulting in a strong constraint on cycle consistency loss and improved performance gains. Different ablation studies show that the haze and content from underwater images are effectively separated. Exhaustive experiments reveal that accurate cycle consistency constraint and the proposed network architecture play an important role in yielding enhanced results. Experiments on UFO-120, UWNet, UWScenes, and UIEB underwater datasets indicate that the results of our method outperform prior art both visually and quantitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL