Structure Representation Network and Uncertainty Feedback Learning for Dense Non-Uniform Fog Removal

要約

既存の画像デフォージングやデヘイジングの手法の中には、煙、塵、霧で通常発生する高密度かつ不均一な粒子分布を考慮したものはほとんどありません。霧の減衰とエアライト（またはベーリング効果）は入力画像の背景情報を著しく弱めるため、これらの密な分布や不均一な分布を扱うことは困難である。この問題を解決するために、我々は、不確実性フィードバック学習を用いた構造表現ネットワークを導入する。具体的には、事前に学習したVision Transformer (DINO-ViT)モジュールから特徴表現を抽出し、背景情報を回復させる。このネットワークは、霧の濃い領域ほど不確実性が高く、霧の密度や分布の不均一性を表す注意マップとみなすことができる。この不確かさマップに基づき、我々のフィードバックネットワークは、霧の除去された出力を反復的に改良する。さらに、大気の光の色の推定が困難であるため、入力画像に含まれる可能性のある光の色の変化の影響を受けにくいグレースケール版の入力画像を利用する。実験結果は、濃く不均一な霧や煙の処理において、最先端の手法と比較して、定量的にも定性的にも本手法が有効であることを示している。

要約(オリジナル)

Few existing image defogging or dehazing methods consider dense and non-uniform particle distributions, which usually happen in smoke, dust and fog. Dealing with these dense and/or non-uniform distributions can be intractable, since fog’s attenuation and airlight (or veiling effect) significantly weaken the background scene information in the input image. To address this problem, we introduce a structure-representation network with uncertainty feedback learning. Specifically, we extract the feature representations from a pre-trained Vision Transformer (DINO-ViT) module to recover the background information. To guide our network to focus on non-uniform fog areas, and then remove the fog accordingly, we introduce the uncertainty feedback learning, which produces the uncertainty maps, that have higher uncertainty in denser fog regions, and can be regarded as an attention map that represents fog’s density and uneven distribution. Based on the uncertainty map, our feedback network refines our defogged output iteratively. Moreover, to handle the intractability of estimating the atmospheric light colors, we exploit the grayscale version of our input image, since it is less affected by varying light colors that are possibly present in the input image. The experimental results demonstrate the effectiveness of our method both quantitatively and qualitatively compared to the state-of-the-art methods in handling dense and non-uniform fog or smoke.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL