Exploring Asymmetric Tunable Blind-Spots for Self-supervised Denoising in Real-World Scenarios

要約

自己教師ありノイズ除去は、きれいな画像なしでトレーニングできるため、広く注目を集めています。
ただし、現実世界のシナリオのノイズは空間的に相関していることが多いため、ピクセル単位の独立したノイズの仮定に基づく多くの自己教師ありアルゴリズムは、現実世界の画像ではうまく機能しません。
最近、非対称ピクセル シャッフル ダウンサンプリング (AP) がノイズの空間相関を乱すために提案されました。
ただし、ダウンサンプリングはエイリアシング効果をもたらし、これらの効果を除去するための後処理は、時間がかかるだけでなく、画像の空間構造と高周波の詳細を破壊する可能性があります。
この論文では、ダウンサンプリングベースの方法を体系的に分析し、これらの問題に対処するために非対称調整可能ブラインドスポットネットワーク (AT-BSN) を提案します。
自由に調整可能なブラインド スポット サイズを持つブラインド スポット ネットワークを設計します。トレーニング中に大きなブラインド スポットを使用して、グローバル構造への損傷を最小限に抑えながらローカルの空間相関ノイズを抑制し、推論中に小さなブラインド スポットを使用して情報の損失を最小限に抑えます。
.
さらに、パフォーマンスをさらに向上させ、計算の複雑さを軽減するために、死角自己集合と非死角ネットワークの蒸留を提案します。
実験結果は、画像テクスチャの維持、パラメーター数、計算コスト、および推論時間の点で、他の自己教師あり方法よりも包括的に優れている一方で、私たちの方法が最先端の結果を達成することを示しています。

要約(オリジナル)

Self-supervised denoising has attracted widespread attention due to its ability to train without clean images. However, noise in real-world scenarios is often spatially correlated, which causes many self-supervised algorithms based on the pixel-wise independent noise assumption to perform poorly on real-world images. Recently, asymmetric pixel-shuffle downsampling (AP) has been proposed to disrupt the spatial correlation of noise. However, downsampling introduces aliasing effects, and the post-processing to eliminate these effects can destroy the spatial structure and high-frequency details of the image, in addition to being time-consuming. In this paper, we systematically analyze downsampling-based methods and propose an Asymmetric Tunable Blind-Spot Network (AT-BSN) to address these issues. We design a blind-spot network with a freely tunable blind-spot size, using a large blind-spot during training to suppress local spatially correlated noise while minimizing damage to the global structure, and a small blind-spot during inference to minimize information loss. Moreover, we propose blind-spot self-ensemble and distillation of non-blind-spot network to further improve performance and reduce computational complexity. Experimental results demonstrate that our method achieves state-of-the-art results while comprehensively outperforming other self-supervised methods in terms of image texture maintaining, parameter count, computation cost, and inference time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google