MM-BSN: Self-Supervised Image Denoising for Real-World with Multi-Mask based on Blind-Spot Network

要約

タイトル：MM-BSN: 盲点ネットワークに基づくマルチマスクを用いた現実世界での自己教師ありイメージデノイズ

要約：
– 深層学習の進歩によって、画像デノイジング技術が新たな段階に進んでいる。
– 自己教師あり画像デノイズでは、盲点ネットワーク（BSN）が最も一般的な方法の1つである。
– しかし、既存のBSNアルゴリズムのうち、ほとんどは、大規模で空間的に相関したノイズを持つ画像には効率が悪いと認識されているドットベースの中央マスクを使用している。
– 本論文では、大きなノイズの定義を示し、異なる形状でマスクされた複数の畳み込みカーネルを使用するマルチマスク戦略を提案する。
– さらに、マルチマスク戦略をBSNと組み合わせた新しい自己教師あり画像デノイジング法（MM-BSN）を提案する。
– 異なるマスクが性能の差を引き起こすことを示し、提案されたMM-BSNは、マルチマスクされた層で抽出された特徴を効果的に融合し、マルチマスキングによって破壊されたテクスチャ構造と情報伝達を回復することができる。
– 本研究で提案されたMM-BSNは、他のBSN方法では効率的に処理できない大規模ノイズのノイズ低減の問題に対処することができる。
– 多数の公開された現実世界のデータセットでの詳細な実験により、ラベリングの努力や事前知識のないsRGB画像のデノイジングにおいて、提案されたMM-BSNが自己教師ありおよびペアの画像デノイジング方法の中で最先端の性能を発揮することが示された。コードはhttps://github.com/dannie125/MM-BSN にある。

要約(オリジナル)

Recent advances in deep learning have been pushing image denoising techniques to a new level. In self-supervised image denoising, blind-spot network (BSN) is one of the most common methods. However, most of the existing BSN algorithms use a dot-based central mask, which is recognized as inefficient for images with large-scale spatially correlated noise. In this paper, we give the definition of large-noise and propose a multi-mask strategy using multiple convolutional kernels masked in different shapes to further break the noise spatial correlation. Furthermore, we propose a novel self-supervised image denoising method that combines the multi-mask strategy with BSN (MM-BSN). We show that different masks can cause significant performance differences, and the proposed MM-BSN can efficiently fuse the features extracted by multi-masked layers, while recovering the texture structures destroyed by multi-masking and information transmission. Our MM-BSN can be used to address the problem of large-noise denoising, which cannot be efficiently handled by other BSN methods. Extensive experiments on public real-world datasets demonstrate that the proposed MM-BSN achieves state-of-the-art performance among self-supervised and even unpaired image denoising methods for sRGB images denoising, without any labelling effort or prior knowledge. Code can be found in https://github.com/dannie125/MM-BSN.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI