Random Sub-Samples Generation for Self-Supervised Real Image Denoising

要約

十分なペアのトレーニング サンプルがあれば、教師あり深層学習手法は、その優れたパフォーマンスにより、画像のノイズ除去において多くの注目を集めています。
ただし、ノイズの多い画像とクリーンな画像のペアが不足しているため、実際のケースで教師あり手法を広く利用することは依然として非常に困難です。
一方、ほとんどの自己監視型ノイズ除去手法は、アプリケーションでの厳密な仮定のため、現実世界のノイズ除去タスクに適用した場合も同様に効果がありません。
たとえば、自己監視型ノイズ除去の典型的な方法として、オリジナルのブラインド スポット ネットワーク (BSN) では、ノイズがピクセル単位で独立していると仮定していますが、これは実際のケースとは大きく異なります。
この問題を解決するために、周期的なサンプル差分損失を伴うランダム サブサンプル生成 (RSG) に基づく、摂動としてのサンプリング差分 (SDAP) という名前の新しい自己教師あり実画像ノイズ除去フレームワークを提案します。
具体的には、BSN の特性をより深く掘り下げて、実際のノイズにより適したものにします。
驚くべきことに、トレーニング画像に適切な摂動を追加すると、BSN のパフォーマンスを効果的に向上できることがわかりました。
さらに、より良い結果を得るために、サンプリングの差を摂動として考慮できることを提案します。
最後に、RSG 戦略と組み合わせた新しい BSN フレームワークを提案します。
結果は、実世界のデータセットに対して、他の最先端の自己監視型ノイズ除去手法よりも大幅に優れたパフォーマンスを発揮することを示しています。
コードは https://github.com/p1y2z3/SDAP で入手できます。

要約(オリジナル)

With sufficient paired training samples, the supervised deep learning methods have attracted much attention in image denoising because of their superior performance. However, it is still very challenging to widely utilize the supervised methods in real cases due to the lack of paired noisy-clean images. Meanwhile, most self-supervised denoising methods are ineffective as well when applied to the real-world denoising tasks because of their strict assumptions in applications. For example, as a typical method for self-supervised denoising, the original blind spot network (BSN) assumes that the noise is pixel-wise independent, which is much different from the real cases. To solve this problem, we propose a novel self-supervised real image denoising framework named Sampling Difference As Perturbation (SDAP) based on Random Sub-samples Generation (RSG) with a cyclic sample difference loss. Specifically, we dig deeper into the properties of BSN to make it more suitable for real noise. Surprisingly, we find that adding an appropriate perturbation to the training images can effectively improve the performance of BSN. Further, we propose that the sampling difference can be considered as perturbation to achieve better results. Finally we propose a new BSN framework in combination with our RSG strategy. The results show that it significantly outperforms other state-of-the-art self-supervised denoising methods on real-world datasets. The code is available at https://github.com/p1y2z3/SDAP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google