NIR-Assisted Image Denoising: A Selective Fusion Approach and A Real-World Benchmark Datase

要約

画像のノイズ除去が大幅に進歩したにもかかわらず、特に極度に暗い環境において、ノイズを除去しながら細かいスケールの詳細を復元することは依然として困難です。
近赤外 (NIR) 画像を活用して可視 RGB 画像のノイズ除去を支援することは、この問題に対処できる可能性を示しており、有望なテクノロジーになります。
それにもかかわらず、既存の研究は、NIR-RGB 画像間の内容の不一致と現実世界のペアのデータセットの不足のため、現実世界の画像のノイズ除去に NIR 情報を効果的に利用することに依然として苦労しています。
この問題を軽減するために、高度なノイズ除去ネットワークにプラグアンドプレイして詳細な NIR-RGB 機能を統合できる、効率的な選択融合モジュール (SFM) を提案します。
具体的には、NIR および RGB 特徴に対してグローバル変調とローカル変調を順次実行し、変調された 2 つの特徴を統合します。
さらに、さまざまなシナリオとさまざまなノイズ レベルをカバーする、現実世界の NIR 支援画像ノイズ除去 (Real-NAID) データセットを紹介します。
合成データセットと現実世界のデータセットの両方に対する広範な実験により、提案された方法が最先端の方法よりも優れた結果が得られることが実証されました。
データセット、コード、および事前トレーニングされたモデルは、https://github.com/ronjonxu/NAID で公開されます。

要約(オリジナル)

Despite the significant progress in image denoising, it is still challenging to restore fine-scale details while removing noise, especially in extremely low-light environments. Leveraging near-infrared (NIR) images to assist visible RGB image denoising shows the potential to address this issue, becoming a promising technology. Nonetheless, existing works still struggle with taking advantage of NIR information effectively for real-world image denoising, due to the content inconsistency between NIR-RGB images and the scarcity of real-world paired datasets. To alleviate the problem, we propose an efficient Selective Fusion Module (SFM), which can be plug-and-played into the advanced denoising networks to merge the deep NIR-RGB features. Specifically, we sequentially perform the global and local modulation for NIR and RGB features, and then integrate the two modulated features. Furthermore, we present a Real-world NIR-Assisted Image Denoising (Real-NAID) dataset, which covers diverse scenarios as well as various noise levels. Extensive experiments on both synthetic and our real-world datasets demonstrate that the proposed method achieves better results than state-of-the-art ones. The dataset, codes, and pre-trained models will be publicly available at https://github.com/ronjonxu/NAID.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google