Unpaired Quad-Path Cycle Consistent Adversarial Networks for Single Image Defogging

要約

【タイトル】
ペアリングされていないQuad-Path Cycle Consistent Adversarial Networks(Single Image Defogging)

【要約】
– 画像の霧取りに対するAdversarial learning-basedな手法は、その卓越した性能のために、コンピュータビジョンにおいて広く研究されてきた。
– しかしながら、ほとんどの既存手法は、同じシーンの明確な画像と合成された霧の画像のペアに対してトレーニングされるため、現実の場合において霧除去能力に限界がある。
– 加えて、霧取りにおいて鮮やかな色や豊かなテキスチャ詳細を保持するには限界がある。
– これらの問題に対処するために、クアッドパスサイクル一貫性adversarialネットワーク（QPC-Net）と呼ばれる新しい生成的adversarialネットワークが開発された。
– QPC-Netは、Fog2FogfreeブロックとFogfree2Fogブロックで構成されている。
– それぞれのブロックには、霧除去、カラー・テクスチャ回復、霧合成の3つの学習ベースのモジュールがある。
– 特に、色テクスチャ回復モデルは、霧の画像とそのいくつかの導出画像の全体的なチャンネル空間特徴相関を学習することによって、テクスチャと構造情報の自己類似性を利用するために設計されている。
– さらに、霧合成モジュールでは、大気散乱モデルを利用し、新しいスカイセグメンテーションネットワークに焦点を当て、大気光最適化を行うことで、生成品質を改善するためにガイドしている
– 合成と実世界のデータセットの両方での広範な実験により、QPC-Netが定量的精度と主観的な視覚品質の両方で最先端の霧取り手法を上回っていることが示された。

要約(オリジナル)

Adversarial learning-based image defogging methods have been extensively studied in computer vision due to their remarkable performance. However, most existing methods have limited defogging capabilities for real cases because they are trained on the paired clear and synthesized foggy images of the same scenes. In addition, they have limitations in preserving vivid color and rich textual details in defogging. To address these issues, we develop a novel generative adversarial network, called quad-path cycle consistent adversarial network (QPC-Net), for single image defogging. QPC-Net consists of a Fog2Fogfree block and a Fogfree2Fog block. In each block, there are three learning-based modules, namely, fog removal, color-texture recovery, and fog synthetic, which sequentially compose dual-path that constrain each other to generate high quality images. Specifically, the color-texture recovery model is designed to exploit the self-similarity of texture and structure information by learning the holistic channel-spatial feature correlations between the foggy image with its several derived images. Moreover, in the fog synthetic module, we utilize the atmospheric scattering model to guide it to improve the generative quality by focusing on an atmospheric light optimization with a novel sky segmentation network. Extensive experiments on both synthetic and real-world datasets show that QPC-Net outperforms state-of-the-art defogging methods in terms of quantitative accuracy and subjective visual quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI