Practical Blind Image Denoising via Swin-Conv-UNet and Data Synthesis

要約

近年、ディープニューラルネットワークを利用した画像ノイズ除去技術が飛躍的に発展しているが、既存の手法の多くは、加法性白色ガウスノイズ（AWGN）、JPEG圧縮ノイズ、カメラセンサノイズなどの単純なノイズ仮定に依存しており、実画像に対する汎用的なブラインドノイズ除去手法は未解決のままである。本論文では、ネットワークアーキテクチャ設計と学習データ合成の観点から、この問題の解決を試みる。具体的には、ネットワークアーキテクチャの設計では、残差畳み込み層の局所的なモデリング能力と、スイン変換ブロックの非局所的なモデリング能力を取り入れたスイン変換ブロックを提案し、広く使われている画像間変換UNetアーキテクチャの主要な構成ブロックとして組み込む。学習データ合成のために、我々は、様々な種類のノイズ（ガウス、ポアソン、スペックル、JPEG圧縮、処理されたカメラセンサノイズを含む）とリサイズを考慮し、ランダムシャッフル戦略と二重劣化戦略を含む実用的なノイズ劣化モデルを設計する。AGWN除去と実画像ノイズ除去に関する広範な実験により、新しいネットワークアーキテクチャ設計が最先端の性能を達成し、新しい劣化モデルが実用性を大幅に改善するのに役立つことが実証された。我々の研究は、現在のノイズ除去研究に有用な知見を提供できると考えている。

要約(オリジナル)

While recent years have witnessed a dramatic upsurge of exploiting deep neural networks toward solving image denoising, existing methods mostly rely on simple noise assumptions, such as additive white Gaussian noise (AWGN), JPEG compression noise and camera sensor noise, and a general-purpose blind denoising method for real images remains unsolved. In this paper, we attempt to solve this problem from the perspective of network architecture design and training data synthesis. Specifically, for the network architecture design, we propose a swin-conv block to incorporate the local modeling ability of residual convolutional layer and non-local modeling ability of swin transformer block, and then plug it as the main building block into the widely-used image-to-image translation UNet architecture. For the training data synthesis, we design a practical noise degradation model which takes into consideration different kinds of noise (including Gaussian, Poisson, speckle, JPEG compression, and processed camera sensor noises) and resizing, and also involves a random shuffle strategy and a double degradation strategy. Extensive experiments on AGWN removal and real image denoising demonstrate that the new network architecture design achieves state-of-the-art performance and the new degradation model can help to significantly improve the practicability. We believe our work can provide useful insights into current denoising research.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL