DestripeCycleGAN: Stripe Simulation CycleGAN for Unsupervised Infrared Image Destriping

要約

CycleGAN は、教師なし画像復元のための高度なアプローチであることが証明されています。
このフレームワークは 2 つのジェネレーターで構成されています。1 つは推論用のノイズ除去ジェネレーター、もう 1 つはサイクル一貫性の制約を満たすためにノイズをモデル化するための補助ジェネレーターです。
ただし、赤外線ストライピング タスクに適用すると、バニラ補助ジェネレーターが教師なし制約の下で垂直方向のノイズを一貫して生成することが困難になります。
これは、サイクル一貫性の損失の有効性に脅威をもたらし、ノイズ除去された画像にストライプ ノイズが残留する原因となります。
上記の問題に対処するために、我々は、DetripeCycleGAN という名前の、単一フレームの赤外線画像ストライプ除去のための新しいフレームワークを紹介します。
このモデルでは、従来の補助ジェネレーターがアプリオリ ストライプ生成モデル (SGM) に置き換えられ、クリーンなデータに縦縞ノイズが導入され、勾配マップがサイクル一貫性を再確立するために使用されます。
一方、Haar ウェーブレット背景ガイダンス モジュール (HBGM) は、異なるドメイン間の背景の詳細​​の相違を最小限に抑えるように設計されています。
垂直エッジを保存するために、マルチレベル ウェーブレット U-Net (MWUNet) がノイズ除去生成器として提案されています。これは、ハール ウェーブレット変換をサンプラーとして利用して、方向性情報の損失を軽減します。
さらに、グループ フュージョン ブロック (GFB) をスキップ接続に組み込んで、マルチスケール機能を融合し、長距離依存関係のコンテキストを構築します。
実際のデータと合成データに関する広範な実験により、DetripeCycleGAN が視覚的な品質と定量的評価の点で最先端の手法を上回っていることが実証されました。
私たちのコードは https://github.com/0wji/De StripeCycleGAN で公開されます。

要約(オリジナル)

CycleGAN has been proven to be an advanced approach for unsupervised image restoration. This framework consists of two generators: a denoising one for inference and an auxiliary one for modeling noise to fulfill cycle-consistency constraints. However, when applied to the infrared destriping task, it becomes challenging for the vanilla auxiliary generator to consistently produce vertical noise under unsupervised constraints. This poses a threat to the effectiveness of the cycle-consistency loss, leading to stripe noise residual in the denoised image. To address the above issue, we present a novel framework for single-frame infrared image destriping, named DestripeCycleGAN. In this model, the conventional auxiliary generator is replaced with a priori stripe generation model (SGM) to introduce vertical stripe noise in the clean data, and the gradient map is employed to re-establish cycle-consistency. Meanwhile, a Haar wavelet background guidance module (HBGM) has been designed to minimize the divergence of background details between the different domains. To preserve vertical edges, a multi-level wavelet U-Net (MWUNet) is proposed as the denoising generator, which utilizes the Haar wavelet transform as the sampler to decline directional information loss. Moreover, it incorporates the group fusion block (GFB) into skip connections to fuse the multi-scale features and build the context of long-distance dependencies. Extensive experiments on real and synthetic data demonstrate that our DestripeCycleGAN surpasses the state-of-the-art methods in terms of visual quality and quantitative evaluation. Our code will be made public at https://github.com/0wuji/DestripeCycleGAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google