Zero-Shot Noise2Noise: Efficient Image Denoising without any Data

要約

最近、自己教師ありニューラル ネットワークが優れた画像ノイズ除去パフォーマンスを示しました。
ただし、現在のデータセットを使用しない方法は、計算コストが高く、ノイズ モデルが必要であるか、画質が不十分です。
この作業では、単純な 2 層ネットワークで、トレーニング データやノイズ分布の知識がなくても、低計算コストで高品質の画像ノイズ除去が可能になることを示します。
私たちのアプローチは、Noise2Noise と Neighbor2Neighbor によって動機付けられており、ピクセルごとの独立したノイズのノイズ除去に適しています。
人工の現実世界のカメラと顕微鏡のノイズに関する実験では、ZS-N2N (Zero Shot Noise2Noise) と呼ばれる方法が、既存のデータセットを使用しない方法よりも低コストで優れていることが多く、データの可用性が低く、限られたユースケースに適していることが示されています。
リソースを計算します。
コードとハイパーパラメータを含む実装のデモは、次の colab ノートブックにあります: https://colab.research.google.com/drive/1i82nyizTdszyHkaHBuKPbWnTzao8HF9b

要約(オリジナル)

Recently, self-supervised neural networks have shown excellent image denoising performance. However, current dataset free methods are either computationally expensive, require a noise model, or have inadequate image quality. In this work we show that a simple 2-layer network, without any training data or knowledge of the noise distribution, can enable high-quality image denoising at low computational cost. Our approach is motivated by Noise2Noise and Neighbor2Neighbor and works well for denoising pixel-wise independent noise. Our experiments on artificial, real-world camera, and microscope noise show that our method termed ZS-N2N (Zero Shot Noise2Noise) often outperforms existing dataset-free methods at a reduced cost, making it suitable for use cases with scarce data availability and limited compute resources. A demo of our implementation including our code and hyperparameters can be found in the following colab notebook: https://colab.research.google.com/drive/1i82nyizTdszyHkaHBuKPbWnTzao8HF9b

arxiv情報

提供元, 利用サービス

arxiv.jp, Google