VIFNet: An End-to-end Visible-Infrared Fusion Network for Image Dehazing

要約

画像のかすみ除去は、環境認識に重大な課題をもたらします。
最近の研究は主に単一モダリティの深層学習ベースの手法に焦点を当てていますが、特に濃霧のシナリオでは重大な情報損失が発生する可能性があります。
赤外線画像はヘイズに対する堅牢性を示しますが、既存の方法では主に赤外線モダリティを補助情報として扱っており、かすみ除去においてその豊富な情報を十分に探索することができませんでした。
この課題に対処するために、この研究の重要な洞察は、画像のかすみ除去のための可視赤外線融合ネットワークを設計することです。
特に、深部構造特徴内のより多くの空間的および周辺情報を復元するためにチャネルピクセルアテンションブロック（CPAB）を組み込んだマルチスケール深部構造特徴抽出（DSFE）モジュールを提案します。
さらに、より信頼性の高い情報を活用して 2 つのモダリティを統合する、不一致加重融合戦略を導入します。
これを検証するために、AirSim シミュレーション プラットフォームに基づいて AirSim-VID と呼ばれる可視赤外線マルチモーダル データセットを構築します。
困難な実際の画像データセットとシミュレートされた画像データセットに対して実行された広範な実験により、VIFNet が多くの最先端の競合手法を上回るパフォーマンスを発揮できることが実証されました。
コードとデータセットは https://github.com/mengyu212/VIFNet_dehazing で入手できます。

要約(オリジナル)

Image dehazing poses significant challenges in environmental perception. Recent research mainly focus on deep learning-based methods with single modality, while they may result in severe information loss especially in dense-haze scenarios. The infrared image exhibits robustness to the haze, however, existing methods have primarily treated the infrared modality as auxiliary information, failing to fully explore its rich information in dehazing. To address this challenge, the key insight of this study is to design a visible-infrared fusion network for image dehazing. In particular, we propose a multi-scale Deep Structure Feature Extraction (DSFE) module, which incorporates the Channel-Pixel Attention Block (CPAB) to restore more spatial and marginal information within the deep structural features. Additionally, we introduce an inconsistency weighted fusion strategy to merge the two modalities by leveraging the more reliable information. To validate this, we construct a visible-infrared multimodal dataset called AirSim-VID based on the AirSim simulation platform. Extensive experiments performed on challenging real and simulated image datasets demonstrate that VIFNet can outperform many state-of-the-art competing methods. The code and dataset are available at https://github.com/mengyu212/VIFNet_dehazing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google