DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior

要約

統一されたフレームワークでさまざまなブラインド画像復元タスクを処理できる一般的な復元パイプラインである DiffBIR を紹介します。
DiffBIR は、ブラインド画像復元の問題を 2 つの段階に分離します。1) 劣化除去: 画像に依存しないコンテンツを削除します。
２）情報の再生：失われた画像コンテンツを生成する。
各ステージは独立して開発されますが、カスケード方式でシームレスに動作します。
最初の段階では、復元モジュールを使用して劣化を除去し、忠実度の高い復元結果を取得します。
第 2 段階では、潜在拡散モデルの生成能力を利用して現実的な詳細を生成する IRControlNet を提案します。
具体的には、IRControlNet は、安定した生成パフォーマンスを実現するために、ノイズの多いコンテンツを邪魔することなく、特別に生成された条件画像に基づいてトレーニングされます。
さらに、モデルを再トレーニングせずに推論中にノイズ除去プロセスを変更できる領域適応型復元ガイダンスを設計し、ユーザーが調整可能なガイダンス スケールを通じて現実性と忠実性のバランスを取れるようにします。
広範な実験により、合成データセットと実世界のデータセットの両方におけるブラインド画像の超解像度、ブラインド顔の復元、ブラインド画像のノイズ除去タスクにおいて、最先端のアプローチよりも DiffBIR が優れていることが実証されました。
コードは https://github.com/XPixelGroup/DiffBIR で入手できます。

要約(オリジナル)

We present DiffBIR, a general restoration pipeline that could handle different blind image restoration tasks in a unified framework. DiffBIR decouples blind image restoration problem into two stages: 1) degradation removal: removing image-independent content; 2) information regeneration: generating the lost image content. Each stage is developed independently but they work seamlessly in a cascaded manner. In the first stage, we use restoration modules to remove degradations and obtain high-fidelity restored results. For the second stage, we propose IRControlNet that leverages the generative ability of latent diffusion models to generate realistic details. Specifically, IRControlNet is trained based on specially produced condition images without distracting noisy content for stable generation performance. Moreover, we design a region-adaptive restoration guidance that can modify the denoising process during inference without model re-training, allowing users to balance realness and fidelity through a tunable guidance scale. Extensive experiments have demonstrated DiffBIR’s superiority over state-of-the-art approaches for blind image super-resolution, blind face restoration and blind image denoising tasks on both synthetic and real-world datasets. The code is available at https://github.com/XPixelGroup/DiffBIR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google