Complementary Advantages: Exploiting Cross-Field Frequency Correlation for NIR-Assisted Image Denoising

要約

既存のシングルイメージ除去アルゴリズムは、複雑なノイズの多い画像を扱う際に詳細を復元するのに苦労することがよくあります。
近赤外（NIR）画像の導入は、RGB画像除去の新しい可能性を提供します。
ただし、NIR画像とRGB画像間の矛盾により、既存の作業は、画像融合のプロセスにおける2つのフィールドの貢献のバランスを取るのに苦労しています。
これに応じて、このホワイトペーパーでは、NIR支援画像除去のクロスフィールド周波数相関ネットワーク（FCENET）を開発します。
最初に、NIR-RGB画像ペアの詳細な統計周波数分析に基づいて、頻度相関を提案します。
事前には、周波数ドメイン内のNIRおよびRGB画像の相補的相関が明らかになりました。
周波数相関を活用する前に、周波数動的選択メカニズム（FDSM）と周波数の網羅的融合メカニズム（FEFM）で構成される周波数学習フレームワークを確立します。
FDSMは、周波数ドメイン内のNIRおよびRGB画像から補完的な情報を動的に選択し、FEFMはNIRおよびRGB機能の融合プロセス中に共通および微分機能の制御を強化します。
シミュレートされた実際のデータに関する広範な実験では、提案された方法が他の最先端の方法よりも優れていることを検証します。
コードはhttps://github.com/yuchenwang815/fcenetでリリースされます。

要約(オリジナル)

Existing single-image denoising algorithms often struggle to restore details when dealing with complex noisy images. The introduction of near-infrared (NIR) images offers new possibilities for RGB image denoising. However, due to the inconsistency between NIR and RGB images, the existing works still struggle to balance the contributions of two fields in the process of image fusion. In response to this, in this paper, we develop a cross-field Frequency Correlation Exploiting Network (FCENet) for NIR-assisted image denoising. We first propose the frequency correlation prior based on an in-depth statistical frequency analysis of NIR-RGB image pairs. The prior reveals the complementary correlation of NIR and RGB images in the frequency domain. Leveraging frequency correlation prior, we then establish a frequency learning framework composed of Frequency Dynamic Selection Mechanism (FDSM) and Frequency Exhaustive Fusion Mechanism (FEFM). FDSM dynamically selects complementary information from NIR and RGB images in the frequency domain, and FEFM strengthens the control of common and differential features during the fusion process of NIR and RGB features. Extensive experiments on simulated and real data validate that the proposed method outperforms other state-of-the-art methods. The code will be released at https://github.com/yuchenwang815/FCENet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google