MM-BSN: Self-Supervised Image Denoising for Real-World with Multi-Mask based on Blind-Spot Network

要約

タイトル：MM-BSN：盲点ネットワークに基づくマルチマスクを用いたリアルワールドの自己教師画像デノイジング

要約：
– 深層学習の進歩によって、画像デノイジング技術は新たなレベルに引き上げられています。
– 自己教師画像デノイジングにおいて、盲点ネットワーク（BSN）は最も一般的な手法の一つです。
– しかし、既存のBSNアルゴリズムのほとんどが、大規模な空間的に相関するノイズを持つ画像に対して効率的でないと認識されているドットベースの中央マスクを使用しています。
– 本論文では、大規模なノイズの定義を与え、異なる形状でマスクされた複数の畳み込みカーネルを使用するマルチマスク戦略を提案し、ノイズ空間相関をさらに打破します。
– さらに、マルチマスク戦略をBSNと組み合わせた新しい自己教師画像デノイジング手法であるMM-BSNを提案しています。
– 異なるマスクが重要であることを示し、提案されたMM-BSNはマルチマスクされたレイヤーで抽出された特徴を効率的に融合し、マルチマスキングによって破壊されたテクスチャ構造と情報伝達を回復することができます。
– 本論文で提案されたMM-BSNは、他のBSN手法では効率的に処理できない大規模ノイズのデノイジング問題に対処するために使用できます。
– 実際のデータセットでの広範囲な実験により、本論文で提案されたMM-BSNは、ラベル付けの努力や先行知識を必要とせずに、sRGB画像のデノイジングにおいて、自己教師や非ペア画像デノイジング手法の中でも最高の性能を発揮することが示されました。コードは https://github.com/dannie125/MM-BSN で入手可能です。

要約(オリジナル)

Recent advances in deep learning have been pushing image denoising techniques to a new level. In self-supervised image denoising, blind-spot network (BSN) is one of the most common methods. However, most of the existing BSN algorithms use a dot-based central mask, which is recognized as inefficient for images with large-scale spatially correlated noise. In this paper, we give the definition of large-noise and propose a multi-mask strategy using multiple convolutional kernels masked in different shapes to further break the noise spatial correlation. Furthermore, we propose a novel self-supervised image denoising method that combines the multi-mask strategy with BSN (MM-BSN). We show that different masks can cause significant performance differences, and the proposed MM-BSN can efficiently fuse the features extracted by multi-masked layers, while recovering the texture structures destroyed by multi-masking and information transmission. Our MM-BSN can be used to address the problem of large-noise denoising, which cannot be efficiently handled by other BSN methods. Extensive experiments on public real-world datasets demonstrate that the proposed MM-BSN achieves state-of-the-art performance among self-supervised and even unpaired image denoising methods for sRGB images denoising, without any labelling effort or prior knowledge. Code can be found in https://github.com/dannie125/MM-BSN.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI