MvKSR: Multi-view Knowledge-guided Scene Recovery for Hazy and Rainy Degradation

要約

高品質のイメージングは​​、輸送や産業などの分野での安全監視とインテリジェントな展開を確保するために不可欠です。
これにより、操作の正確かつ詳細な監視が可能になり、潜在的な危険のタイムリーな検出と効率的な管理が容易になります。
ただし、大気の曇りや降水などの悪天候は、画質に大きな影響を与える可能性があります。
大気に濃い霧や水滴が含まれている場合、入射光が散乱し、撮影画像の劣化につながります。
この劣化は、画像のぼやけやコントラストの低下という形で明らかであり、インテリジェント イメージング システム (IIS) による誤った評価や解釈が行われる可能性が高くなります。
霞や雨の状況で劣化した画像を復元するという課題に対処するために、この論文では、新しいマルチビュー知識誘導シーン回復ネットワーク (MvKSR と呼ばれる) を提案します。
具体的には、劣化画像に対してガイド付きフィルタリングを実行し、高周波成分と低周波成分を分離します。
続いて、エンデコーダベースのマルチビュー特徴粗抽出モジュール (MCE) を使用して、劣化画像のさまざまなビューから特徴を大まかに抽出します。
マルチビュー機能ファイン フュージョン モジュール (MFF) は、さまざまなビューの下での混合監視を通じて、劣化した画像の復元を学習および推論します。
さらに、かすんだ/雨が降っている/混合シーンでのグローバル修復とローカル修復を処理するために、ひどい残差ブロックを提案します。
広範な実験結果は、IIS で劣化したシナリオを復元する効率と安定性の点で、MvKSR が他の最先端の方法よりも優れていることを示しています。

要約(オリジナル)

High-quality imaging is crucial for ensuring safety supervision and intelligent deployment in fields like transportation and industry. It enables precise and detailed monitoring of operations, facilitating timely detection of potential hazards and efficient management. However, adverse weather conditions, such as atmospheric haziness and precipitation, can have a significant impact on image quality. When the atmosphere contains dense haze or water droplets, the incident light scatters, leading to degraded captured images. This degradation is evident in the form of image blur and reduced contrast, increasing the likelihood of incorrect assessments and interpretations by intelligent imaging systems (IIS). To address the challenge of restoring degraded images in hazy and rainy conditions, this paper proposes a novel multi-view knowledge-guided scene recovery network (termed MvKSR). Specifically, guided filtering is performed on the degraded image to separate high/low-frequency components. Subsequently, an en-decoder-based multi-view feature coarse extraction module (MCE) is used to coarsely extract features from different views of the degraded image. The multi-view feature fine fusion module (MFF) will learn and infer the restoration of degraded images through mixed supervision under different views. Additionally, we suggest an atrous residual block to handle global restoration and local repair in hazy/rainy/mixed scenes. Extensive experimental results demonstrate that MvKSR outperforms other state-of-the-art methods in terms of efficiency and stability for restoring degraded scenarios in IIS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google