Realistic Noise Synthesis with Diffusion Models

要約

ディープノイズ除去モデルには広範な現実世界のトレーニング データが必要ですが、これを取得するのは困難です。
現在のノイズ合成技術では、複雑なノイズ分布を正確にモデル化するのが困難です。
これらの課題に対処するために、拡散モデルを使用した新しいリアリスティック ノイズ合成ディフューザー (RNSD) 手法を提案します。
RNSD は、カメラ設定を時間対応カメラ条件付きアフィン変調 (TCCAM) にエンコードすることにより、さまざまなカメラ条件下でより現実的なノイズ分布を生成します。
さらに、RNSD はマルチスケール コンテンツ対応モジュール (MCAM) を統合し、複数の周波数にわたる空間相関を持つ構造化ノイズの生成を可能にします。
また、深度画像事前サンプリング (DIPS) も導入します。これは、深度画像事前に基づく学習可能なサンプリング シーケンスであり、合成ノイズの高品質を維持しながらサンプリング プロセスを大幅に高速化します。
広範な実験により、当社の RNSD メソッドは、複数のメトリックに基づいて現実的なノイズを合成し、画像のノイズ除去パフォーマンスを向上させる点で、既存の技術を大幅に上回っていることが実証されています。

要約(オリジナル)

Deep denoising models require extensive real-world training data, which is challenging to acquire. Current noise synthesis techniques struggle to accurately model complex noise distributions. We propose a novel Realistic Noise Synthesis Diffusor (RNSD) method using diffusion models to address these challenges. By encoding camera settings into a time-aware camera-conditioned affine modulation (TCCAM), RNSD generates more realistic noise distributions under various camera conditions. Additionally, RNSD integrates a multi-scale content-aware module (MCAM), enabling the generation of structured noise with spatial correlations across multiple frequencies. We also introduce Deep Image Prior Sampling (DIPS), a learnable sampling sequence based on depth image prior, which significantly accelerates the sampling process while maintaining the high quality of synthesized noise. Extensive experiments demonstrate that our RNSD method significantly outperforms existing techniques in synthesizing realistic noise under multiple metrics and improving image denoising performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google