MM-BSN: Self-Supervised Image Denoising for Real-World with Multi-Mask based on Blind-Spot Network

要約

【タイトル】盲点ネットワークを用いたマルチマスクに基づくセルフスーパーバイズドイメージノイズ除去の実世界への応用（MM-BSN）

【要約】
– 深層学習技術の進歩により、画像ノイズ除去技術は新たなレベルにまで進化している
– 盲点ネットワークは、セルフスーパーバイズドイメージノイズ除去において最も一般的な手法の1つであるが、既存の多くのアルゴリズムは、大規模な空間的に相関するノイズを持つ画像に既存のドットベースの中央マスクは、効率的ではない
– 本論文では、大規模なノイズの定義を与え、異なる形状のマルチカーネルでマスクされた複数の畳み込み層を使用するマルチマスク戦略を提案し、ノイズの空間的相関を更に解消する
– さらに、提案されたMM-BSNはマルチマスク戦略とBSNを組み合わせた新しいセルフスーパーバイズドイメージノイズ除去方法であることを提唱する。
– 異なるマスクが性能の差を引き起こすことを示し、MM-BSNがマルチマスクされた層によって抽出された特徴を効率的に融合し、マルチマスキングによって破壊されたテクスチャ構造や情報伝達を復元できることを示した
– MM-BSNは、他のBSN手法では効率的に処理できない大規模ノイズ除去の問題を解決するために使用できる。
– 公開された実世界データセットでの広範な実験により、ラベリング作業や事前知識なしで、提案されたMM-BSNが、sRGB画像の除去においてセルフスーパーバイズドやペアレスのイメージノイズ除去方法の中でも最高の性能を発揮することがわかった。コードはhttps://github.com/dannie125/MM-BSNで入手できる。

要約(オリジナル)

Recent advances in deep learning have been pushing image denoising techniques to a new level. In self-supervised image denoising, blind-spot network (BSN) is one of the most common methods. However, most of the existing BSN algorithms use a dot-based central mask, which is recognized as inefficient for images with large-scale spatially correlated noise. In this paper, we give the definition of large-noise and propose a multi-mask strategy using multiple convolutional kernels masked in different shapes to further break the noise spatial correlation. Furthermore, we propose a novel self-supervised image denoising method that combines the multi-mask strategy with BSN (MM-BSN). We show that different masks can cause significant performance differences, and the proposed MM-BSN can efficiently fuse the features extracted by multi-masked layers, while recovering the texture structures destroyed by multi-masking and information transmission. Our MM-BSN can be used to address the problem of large-noise denoising, which cannot be efficiently handled by other BSN methods. Extensive experiments on public real-world datasets demonstrate that the proposed MM-BSN achieves state-of-the-art performance among self-supervised and even unpaired image denoising methods for sRGB images denoising, without any labelling effort or prior knowledge. Code can be found in https://github.com/dannie125/MM-BSN.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI