Reconstruct-and-Generate Diffusion Model for Detail-Preserving Image Denoising

要約

画像のノイズ除去は、コンピュータ ビジョンの分野における基本的かつ困難なタスクです。
ほとんどの教師ありノイズ除去手法は、ノイズの多い入力からきれいな画像を再構築することを学習しますが、入力には固有のスペクトル バイアスがあり、過度に平滑化されたぼやけた画像が生成される傾向があります。
最近、研究者らは画像復元タスクで高周波の詳細を生成する拡散モデルを研究しましたが、これらのモデルは、生成されたテクスチャが実際の画像と一致することを保証せず、望ましくないアーティファクトを引き起こします。
ノイズ除去タスクにおける視覚的な魅力と高周波ディテールの忠実性の間のトレードオフに対処するために、再構築および生成拡散モデル (RnG) と呼ばれる新しいアプローチを提案します。
私たちの方法では、再構成型ノイズ除去ネットワークを活用して、基礎となるクリーンな信号の大部分を回復します。これは、忠実度を維持するための後続のステップの初期推定として機能します。
さらに、拡散アルゴリズムを採用して残留高周波ディテールを生成し、視覚的な品質を向上させます。
さらに、RnG の再構成モジュールと生成モジュール間の効果的な連携を確保するために、2 段階のトレーニング スキームを導入します。
拡散モデルによってもたらされる望ましくないテクスチャを軽減するために、拡散モデルによって適用される逆ステップの数を調整する適応ステップ コントローラーも提案します。これにより、各パッチに追加される高周波ディテールのレベルを制御できるようになり、推論を保存できるようになります。
計算コスト。
私たちが提案する RnG を通じて、知覚と歪みの間のより良いバランスを実現します。
私たちは合成データセットと実際のノイズ除去データセットの両方で広範な実験を実施し、提案されたアプローチの優位性を検証しました。

要約(オリジナル)

Image denoising is a fundamental and challenging task in the field of computer vision. Most supervised denoising methods learn to reconstruct clean images from noisy inputs, which have intrinsic spectral bias and tend to produce over-smoothed and blurry images. Recently, researchers have explored diffusion models to generate high-frequency details in image restoration tasks, but these models do not guarantee that the generated texture aligns with real images, leading to undesirable artifacts. To address the trade-off between visual appeal and fidelity of high-frequency details in denoising tasks, we propose a novel approach called the Reconstruct-and-Generate Diffusion Model (RnG). Our method leverages a reconstructive denoising network to recover the majority of the underlying clean signal, which serves as the initial estimation for subsequent steps to maintain fidelity. Additionally, it employs a diffusion algorithm to generate residual high-frequency details, thereby enhancing visual quality. We further introduce a two-stage training scheme to ensure effective collaboration between the reconstructive and generative modules of RnG. To reduce undesirable texture introduced by the diffusion model, we also propose an adaptive step controller that regulates the number of inverse steps applied by the diffusion model, allowing control over the level of high-frequency details added to each patch as well as saving the inference computational cost. Through our proposed RnG, we achieve a better balance between perception and distortion. We conducted extensive experiments on both synthetic and real denoising datasets, validating the superiority of the proposed approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google