Non-aligned supervision for Real Image Dehazing

要約

現実世界の画像からかすみを除去することは、予測できない気象条件のため困難であり、その結果、かすみのある画像と鮮明な画像のペアの位置がずれてしまいます。
この論文では、非調整の監視下で動作する革新的なかすみ除去フレームワークを提案します。
このフレームワークは大気散乱モデルに基づいており、相互接続された 3 つのネットワーク (かすみ除去ネットワーク、航空光ネットワーク、および伝送ネットワーク) で構成されます。
特に、入力のかすみ画像と位置合わせされていない明確な参照画像を利用してかすみ除去ネットワークを監視する非位置合わせシナリオを検討します。
これを実装するために、参照画像とかすみ除去された出力の間の特徴表現を比較するマルチスケール参照損失を提示します。
私たちのシナリオを使用すると、現実世界の環境で、たとえ位置ずれやビューのシフトがある状況でも、かすんだ画像と鮮明な画像のペアを簡単に収集できます。
私たちのシナリオの有効性を示すために、農村部と都市部の両方で携帯電話で撮影された 415 組の画像ペアを含む、「Phone-Hazy」と呼ばれる新しいかすんだデータセットを収集しました。
さらに、位置誘導としてダーク チャネル プリアを使用して、実際の無限航空光をモデル化するための平均と分散に基づくセルフ アテンション ネットワークを導入します。
さらに、チャネル アテンション ネットワークを使用して 3 チャネルの送信を推定します。
実験結果は、現実世界の画像のかすみ除去タスクにおいて、既存の最先端技術を上回るフレームワークのパフォーマンスが優れていることを示しています。
Phone-Hazy とコードは https://fanjunkai1.github.io/projectpage/NSDNet/index.html で入手できます。

要約(オリジナル)

Removing haze from real-world images is challenging due to unpredictable weather conditions, resulting in the misalignment of hazy and clear image pairs. In this paper, we propose an innovative dehazing framework that operates under non-aligned supervision. This framework is grounded in the atmospheric scattering model, and consists of three interconnected networks: dehazing, airlight, and transmission networks. In particular, we explore a non-alignment scenario that a clear reference image, unaligned with the input hazy image, is utilized to supervise the dehazing network. To implement this, we present a multi-scale reference loss that compares the feature representations between the referred image and the dehazed output. Our scenario makes it easier to collect hazy/clear image pairs in real-world environments, even under conditions of misalignment and shift views. To showcase the effectiveness of our scenario, we have collected a new hazy dataset including 415 image pairs captured by mobile Phone in both rural and urban areas, called ‘Phone-Hazy’. Furthermore, we introduce a self-attention network based on mean and variance for modeling real infinite airlight, using the dark channel prior as positional guidance. Additionally, a channel attention network is employed to estimate the three-channel transmission. Experimental results demonstrate the superior performance of our framework over existing state-of-the-art techniques in the real-world image dehazing task. Phone-Hazy and code will be available at https://fanjunkai1.github.io/projectpage/NSDNet/index.html.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google