Deep Variation Prior: Joint Image Denoising and Noise Variance Estimation without Clean Data

要約

画像からノイズを除去する上で有望な結果を示している最近の深層学習ベースのアプローチにより、最良のノイズ除去パフォーマンスは、ペアになったノイズ画像とトレーニング用のグラウンド トゥルースの大規模なセットを必要とする教師あり学習セットアップで報告されています。
強力なデータ要件は、教師なし学習手法によって軽減できますが、高品質のソリューションには、画像またはノイズ分散の正確なモデリングが依然として重要です。
学習問題は、未知のノイズ分布に対して不適切です。
この論文では、単一の共同学習フレームワークにおける画像のノイズ除去とノイズ分散推定のタスクを調査します。
この問題の不適切な設定に対処するために、ディープ バリエーション プライア (DVP) を提示します。これは、ノイズの変化に関して適切に学習されたデノイザーの変化が、優れたデノイザーの重要な基準として、いくつかの滑らかさのプロパティを満たすことを示しています。
DVP に基づいて、デノイザーの学習とノイズ分散の推定を同時に行う、教師なしディープ ラーニング フレームワークが開発されました。
私たちの方法は、クリーンなトレーニング画像やノイズ推定の外部ステップを必要とせず、代わりに、一連のノイズのある画像のみを使用して最小平均二乗誤差デノイザーを近似します。
基礎となる 2 つのタスクが 1 つのフレームワークで考慮されるため、相互に最適化することができます。
実験結果は、教師あり学習と正確なノイズ分散推定に匹敵するノイズ除去品質を示しています。

要約(オリジナル)

With recent deep learning based approaches showing promising results in removing noise from images, the best denoising performance has been reported in a supervised learning setup that requires a large set of paired noisy images and ground truth for training. The strong data requirement can be mitigated by unsupervised learning techniques, however, accurate modelling of images or noise variance is still crucial for high-quality solutions. The learning problem is ill-posed for unknown noise distributions. This paper investigates the tasks of image denoising and noise variance estimation in a single, joint learning framework. To address the ill-posedness of the problem, we present deep variation prior (DVP), which states that the variation of a properly learnt denoiser with respect to the change of noise satisfies some smoothness properties, as a key criterion for good denoisers. Building upon DVP, an unsupervised deep learning framework, that simultaneously learns a denoiser and estimates noise variances, is developed. Our method does not require any clean training images or an external step of noise estimation, and instead, approximates the minimum mean squared error denoisers using only a set of noisy images. With the two underlying tasks being considered in a single framework, we allow them to be optimised for each other. The experimental results show a denoising quality comparable to that of supervised learning and accurate noise variance estimates.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google