Noise2NoiseFlow: Realistic Camera Noise Modeling without Clean Images

要約

画像ノイズモデリングは、コンピュータビジョンの多くのアプリケーションで長年の問題です。
信号に依存しない加法性ホワイトガウスノイズやヘテロスケダスティックガウスノイズモデル（別名、カメラノイズレベル関数）などの単純なモデルを提案する初期の試みは、カメラセンサーノイズの複雑な動作を学習するのに十分ではありません。
最近、より複雑な学習ベースのモデルが提案されており、ノイズ合成やノイズ除去などのダウンストリームタスクでより良い結果が得られます。
ただし、教師ありデータ（つまり、ペアのクリーンな画像）への依存は、グラウンドトゥルース画像を生成する際の課題を考えると制限要因です。
この論文は、ノイズの多い/クリーンなペアの画像データではなく、ノイズの多い画像のペアのみに依存しながら、ノイズモデルとデノイザーを同時にトレーニングするためのフレームワークを提案します。
このフレームワークをノイズフローアーキテクチャのトレーニングに適用します。
ノイズ合成と密度推定の結果は、私たちのフレームワークが以前の信号処理ベースのノイズモデルよりも優れており、監視対象のフレームワークと同等であることを示しています。
訓練されたノイズ除去装置は、教師ありと弱教師ありの両方のベースラインノイズ除去アプローチを大幅に改善することも示されています。
結果は、デノイザーとノイズモデルの共同トレーニングがデノイザーの大幅な改善をもたらすことを示しています。

要約(オリジナル)

Image noise modeling is a long-standing problem with many applications in computer vision. Early attempts that propose simple models, such as signal-independent additive white Gaussian noise or the heteroscedastic Gaussian noise model (a.k.a., camera noise level function) are not sufficient to learn the complex behavior of the camera sensor noise. Recently, more complex learning-based models have been proposed that yield better results in noise synthesis and downstream tasks, such as denoising. However, their dependence on supervised data (i.e., paired clean images) is a limiting factor given the challenges in producing ground-truth images. This paper proposes a framework for training a noise model and a denoiser simultaneously while relying only on pairs of noisy images rather than noisy/clean paired image data. We apply this framework to the training of the Noise Flow architecture. The noise synthesis and density estimation results show that our framework outperforms previous signal-processing-based noise models and is on par with its supervised counterpart. The trained denoiser is also shown to significantly improve upon both supervised and weakly supervised baseline denoising approaches. The results indicate that the joint training of a denoiser and a noise model yields significant improvements in the denoiser.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google