Snow Mask Guided Adaptive Residual Network for Image Snow Removal

要約

悪天候下での画像の復元は困難な作業です。
過去の作品のほとんどは、画像の雨や霞の現象を取り除くことに焦点を当てていました。
ただし、雪は非常に一般的な大気現象でもあり、オブジェクト検出やセマンティックセグメンテーションなどの高レベルのコンピュータビジョンタスクのパフォーマンスに深刻な影響を及ぼします。
最近、除雪のためのいくつかの方法が提案されており、ほとんどの方法は、最適化オブジェクトとして雪の画像を直接処理します。
ただし、雪の位置と形状の分布は複雑です。
したがって、雪片/雪の筋を効果的に検出できないと、除雪に影響を与え、モデルのパフォーマンスが制限されます。
これらの問題を解決するために、スノーマスクガイド付き適応残余ネットワーク（SMGARN）を提案します。
具体的には、SMGARNは、Mask-Net、Guidance-Fusion Network（GF-Net）、およびReconstruct-Netの3つの部分で構成されています。
まず、Self-pixel Attention（SA）とCross-pixel Attention（CA）を備えたマスクネットを構築して、雪片の特徴をキャプチャし、雪の位置を正確に特定して、正確なスノーマスクを予測します。
次に、予測されたスノーマスクが特別に設計されたGF-Netに送信され、モデルを適応的にガイドして除雪します。
最後に、効率的なReconstruct-Netを使用してベール効果を取り除き、画像を修正して最終的な雪のない画像を再構成します。
広範な実験により、SMGARNは既存のすべての除雪方法よりも数値的に優れており、再構成された画像は視覚的なコントラストがより鮮明であることが示されています。
すべてのコードが利用可能になります。

要約(オリジナル)

Image restoration under severe weather is a challenging task. Most of the past works focused on removing rain and haze phenomena in images. However, snow is also an extremely common atmospheric phenomenon that will seriously affect the performance of high-level computer vision tasks, such as object detection and semantic segmentation. Recently, some methods have been proposed for snow removing, and most methods deal with snow images directly as the optimization object. However, the distribution of snow location and shape is complex. Therefore, failure to detect snowflakes / snow streak effectively will affect snow removing and limit the model performance. To solve these issues, we propose a Snow Mask Guided Adaptive Residual Network (SMGARN). Specifically, SMGARN consists of three parts, Mask-Net, Guidance-Fusion Network (GF-Net), and Reconstruct-Net. Firstly, we build a Mask-Net with Self-pixel Attention (SA) and Cross-pixel Attention (CA) to capture the features of snowflakes and accurately localized the location of the snow, thus predicting an accurate snow mask. Secondly, the predicted snow mask is sent into the specially designed GF-Net to adaptively guide the model to remove snow. Finally, an efficient Reconstruct-Net is used to remove the veiling effect and correct the image to reconstruct the final snow-free image. Extensive experiments show that our SMGARN numerically outperforms all existing snow removal methods, and the reconstructed images are clearer in visual contrast. All codes will be available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google