Non-aligned supervision for Real Image Dehazing

要約

現実世界の画像からかすみを除去することは、気象条件が予測できないため困難であり、その結果、かすんだ画像と鮮明な画像のペアがずれてしまいます。
この論文では、かすみ除去、エアライト、および伝送の 3 つのネットワークで構成される非整列監視フレームワークを提案します。
特に、ぼやけた入力画像と整列していない明確な参照画像を利用して、2 つの画像の特徴を比較するマルチスケール参照損失を通じてかすみ除去ネットワークを監視することにより、非整列設定を調査します。
私たちの設定により、現実世界の環境で、ミスアライメントやシフトビューの条件下でも、かすんでいる/鮮明な画像のペアを簡単に収集できます。
これを実証するために、農村部と都市部の両方で携帯電話を使用してキャプチャされた、「Phone-Hazy」と呼ばれる新しいかすんだデータセットを作成しました。
さらに、位置ガイダンスとしてダーク チャネル プライアを使用して無限のエアライトをモデル化するための平均分散セルフ アテンション ネットワークを提示し、チャネル アテンション ネットワークを使用して 3 チャネル伝送を推定します。
実験結果は、私たちのフレームワークが現実世界の画像のかすみ除去において現在の最先端の方法よりも優れていることを示しています。
Phone-Hazy とコードは、https://github.com/hello2377/NSDNet で入手できます。

要約(オリジナル)

Removing haze from real-world images is challenging due to unpredictable weather conditions, resulting in misaligned hazy and clear image pairs. In this paper, we propose a non-aligned supervision framework that consists of three networks – dehazing, airlight, and transmission. In particular, we explore a non-alignment setting by utilizing a clear reference image that is not aligned with the hazy input image to supervise the dehazing network through a multi-scale reference loss that compares the features of the two images. Our setting makes it easier to collect hazy/clear image pairs in real-world environments, even under conditions of misalignment and shift views. To demonstrate this, we have created a new hazy dataset called ‘Phone-Hazy’, which was captured using mobile phones in both rural and urban areas. Additionally, we present a mean and variance self-attention network to model the infinite airlight using dark channel prior as position guidance, and employ a channel attention network to estimate the three-channel transmission. Experimental results show that our framework outperforms current state-of-the-art methods in the real-world image dehazing. Phone-Hazy and code will be available at https://github.com/hello2377/NSDNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google