NoiseTransfer: Image Noise Generation with Contrastive Embeddings

要約

ディープ イメージ ノイズ除去ネットワークは、かなり多数の合成列車データセットの助けを借りて、目覚ましい成功を収めています。
ただし、実際のノイズ データセットと合成ノイズ データセットの分布が異なるため、現実世界のノイズ除去は依然として困難な問題です。
いくつかの実世界のノイズのあるデータセットが提示されていますが、列車データセット (つまり、クリーンな画像と実際のノイズのある画像のペア) の数は限られており、より多くの実際のノイズ データセットを取得するのは面倒で費用がかかります。
この問題を軽減するために、生成モデルを使用して実際のノイズ モデルをシミュレートする試みが数多く研究されてきました。
それにもかかわらず、以前の研究では、複数の異なるノイズ分布を処理するために複数のネットワークをトレーニングする必要がありました。
対照的に、複数の異なるノイズ分布を持つノイズの多い画像を合成できる新しい生成モデルを提案します。
具体的には、最近の対照学習を採用して、ノイズの識別可能な潜在的な特徴を学習します。
さらに、私たちのモデルは、単一の参照ノイズ画像からのみノイズ特性を転送することにより、新しいノイズ画像を生成できます。
既知および未知のノイズ除去に対するノイズ モデルの精度と有効性を実証します。

要約(オリジナル)

Deep image denoising networks have achieved impressive success with the help of a considerably large number of synthetic train datasets. However, real-world denoising is a still challenging problem due to the dissimilarity between distributions of real and synthetic noisy datasets. Although several real-world noisy datasets have been presented, the number of train datasets (i.e., pairs of clean and real noisy images) is limited, and acquiring more real noise datasets is laborious and expensive. To mitigate this problem, numerous attempts to simulate real noise models using generative models have been studied. Nevertheless, previous works had to train multiple networks to handle multiple different noise distributions. By contrast, we propose a new generative model that can synthesize noisy images with multiple different noise distributions. Specifically, we adopt recent contrastive learning to learn distinguishable latent features of the noise. Moreover, our model can generate new noisy images by transferring the noise characteristics solely from a single reference noisy image. We demonstrate the accuracy and the effectiveness of our noise model for both known and unknown noise removal.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google