Hierarchical Integration Diffusion Model for Realistic Image Deblurring

要約

拡散モデル (DM) は最近、画像のブレ除去に導入され、特に細部の再構成に関して有望なパフォーマンスを示しました。
ただし、拡散モデルでは純粋なガウス ノイズからクリーンな画像を回復するために多数の推論反復が必要となり、大量の計算リソースを消費します。
さらに、拡散モデルによって合成された分布はターゲットの結果とずれていることが多く、歪みベースのメトリクスの制限につながります。
上記の問題に対処するために、リアルな画像のブレを除去するための階層統合拡散モデル (HI-Diff) を提案します。
具体的には、高度に圧縮された潜在空間で DM を実行し、ブレ除去プロセスのための事前特徴を生成します。
ブレ除去プロセスは、より良い歪み精度を得るために回帰ベースの方法によって実装されます。
一方、非常にコンパクトな潜在空間により、DM の効率が確保されます。
さらに、階層型統合モジュールを設計して、事前分布を複数のスケールからの回帰ベースのモデルに融合し、複雑で曖昧なシナリオでのより適切な一般化を可能にします。
合成ぼかしデータセットと実世界のぼかしデータセットに関する包括的な実験により、当社の HI-Diff が最先端の手法よりも優れていることが実証されました。
コードとトレーニング済みモデルは https://github.com/zhengchen1999/HI-Diff で入手できます。

要約(オリジナル)

Diffusion models (DMs) have recently been introduced in image deblurring and exhibited promising performance, particularly in terms of details reconstruction. However, the diffusion model requires a large number of inference iterations to recover the clean image from pure Gaussian noise, which consumes massive computational resources. Moreover, the distribution synthesized by the diffusion model is often misaligned with the target results, leading to restrictions in distortion-based metrics. To address the above issues, we propose the Hierarchical Integration Diffusion Model (HI-Diff), for realistic image deblurring. Specifically, we perform the DM in a highly compacted latent space to generate the prior feature for the deblurring process. The deblurring process is implemented by a regression-based method to obtain better distortion accuracy. Meanwhile, the highly compact latent space ensures the efficiency of the DM. Furthermore, we design the hierarchical integration module to fuse the prior into the regression-based model from multiple scales, enabling better generalization in complex blurry scenarios. Comprehensive experiments on synthetic and real-world blur datasets demonstrate that our HI-Diff outperforms state-of-the-art methods. Code and trained models are available at https://github.com/zhengchen1999/HI-Diff.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google