Realistic Noise Synthesis with Diffusion Models

要約

ディープ・イメージ・デノイジング・モデルは、高品質な性能を得るために、多くの場合、大量の学習データに依存している。しかし、教師あり学習のために実世界のシナリオで十分な量のデータを得ることは困難である。そのため、現実的なノイズを合成することが重要な解決策となる。しかし、既存の手法では、複雑なノイズ分布のモデル化には限界があり、合成データに依存したノイズ除去手法では、残留ノイズやエッジアーチファクトが発生する。これらの課題を克服するために、我々は拡散モデルを用いて現実的なノイズを合成する新しい手法、すなわちRealistic Noise Synthesize Diffusor (RNSD)を提案する。特に、提案する時間認識制御モジュールは、与えられたカメラ設定の下で、様々な環境条件をシミュレートすることができる。RNSDは、空間相関を持つより現実的なノイズを複数の周波数で生成できるように、ガイドされたマルチスケールコンテンツを組み込むことができる。さらに、未知のカメラ設定を予測する反転メカニズムを構築し、設定情報のないデータセットへのRNSDの拡張を可能にする。広範な実験により、我々のRNSD手法が、複数のリアリズムメトリクスの下で合成されたノイズだけでなく、単一画像のノイズ除去性能においても、既存の手法を大幅に上回ることが実証された。

要約(オリジナル)

Deep image denoising models often rely on large amount of training data for the high quality performance. However, it is challenging to obtain sufficient amount of data under real-world scenarios for the supervised training. As such, synthesizing realistic noise becomes an important solution. However, existing techniques have limitations in modeling complex noise distributions, resulting in residual noise and edge artifacts in denoising methods relying on synthetic data. To overcome these challenges, we propose a novel method that synthesizes realistic noise using diffusion models, namely Realistic Noise Synthesize Diffusor (RNSD). In particular, the proposed time-aware controlling module can simulate various environmental conditions under given camera settings. RNSD can incorporate guided multiscale content, such that more realistic noise with spatial correlations can be generated at multiple frequencies. In addition, we construct an inversion mechanism to predict the unknown camera setting, which enables the extension of RNSD to datasets without setting information. Extensive experiments demonstrate that our RNSD method significantly outperforms the existing methods not only in the synthesized noise under multiple realism metrics, but also in the single image denoising performances.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL