Holistic Attention-Fusion Adversarial Network for Single Image Defogging

要約

敵対的学習ベースの画像曇り除去方法は、その優れた性能により、コンピューター ビジョンで広く研究されてきました。
ただし、ほとんどの既存の方法は、同じシーンのペアのクリア画像と合成霧画像でトレーニングされるため、実際のケースの曇り除去機能が制限されています。
さらに、曇り止めで鮮やかな色と豊かなテキストの詳細を維持するには限界があります。
これらの問題に対処するために、単一画像の曇り除去のために、ホリスティックな注意融合敵対ネットワーク（HAAN）と呼ばれる新しい敵対的生成ネットワークを開発します。
HAAN は、Fog2Fogfree ブロックと Fogfree2Fog ブロックで構成されます。
各ブロックには、高品質の画像を生成するために相互に制約されている 3 つの学習ベースのモジュール、つまり、フォグ除去、カラー テクスチャの回復、およびフォグ合成があります。
HAAN は、霧の画像とそのいくつかの派生画像との間の全体的なチャネル空間特徴相関を学習することにより、テクスチャおよび構造情報の自己相似性を活用するように設計されています。
さらに、霧合成モジュールでは、大気散乱モデルを利用して、新しい空のセグメンテーション ネットワークを使用した大気光の最適化に焦点を当てることで、生成品質を向上させます。
合成データセットと実世界データセットの両方での広範な実験により、HAAN は定量的精度と主観的な視覚的品質の点で最先端の曇り除去方法よりも優れていることが示されています。

要約(オリジナル)

Adversarial learning-based image defogging methods have been extensively studied in computer vision due to their remarkable performance. However, most existing methods have limited defogging capabilities for real cases because they are trained on the paired clear and synthesized foggy images of the same scenes. In addition, they have limitations in preserving vivid color and rich textual details in defogging. To address these issues, we develop a novel generative adversarial network, called holistic attention-fusion adversarial network (HAAN), for single image defogging. HAAN consists of a Fog2Fogfree block and a Fogfree2Fog block. In each block, there are three learning-based modules, namely, fog removal, color-texture recovery, and fog synthetic, that are constrained each other to generate high quality images. HAAN is designed to exploit the self-similarity of texture and structure information by learning the holistic channel-spatial feature correlations between the foggy image with its several derived images. Moreover, in the fog synthetic module, we utilize the atmospheric scattering model to guide it to improve the generative quality by focusing on an atmospheric light optimization with a novel sky segmentation network. Extensive experiments on both synthetic and real-world datasets show that HAAN outperforms state-of-the-art defogging methods in terms of quantitative accuracy and subjective visual quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google