PGDiff: Guiding Diffusion Models for Versatile Face Restoration via Partial Guidance

要約

事前にトレーニングされた拡散モデルを復元に利用することは、従来のタスク固有のトレーニング アプローチに代わる代替手段として最近好まれています。
これまでの研究では、明示的な劣化モデルを使用して解の空間を制限することで、注目に値する成功を収めてきました。
ただし、これらの方法は一般に正確にモデル化できないため、複雑な劣化に直面すると不十分になることがよくあります。
本稿では、既存の研究と比較して現実世界の劣化に適応できる新しい視点である部分ガイダンスを導入することにより、PGDiffを提案します。
私たちのアプローチでは、劣化プロセスを具体的に定義するのではなく、高品質画像の画像構造や色の統計などの望ましい特性をモデル化し、このガイダンスを逆拡散プロセス中に適用します。
これらの特性はすぐに入手できるため、劣化プロセスについての仮定はありません。
この部分的なガイダンスを拡散事前と組み合わせると、さまざまな修復作業にわたって魅力的な結果をもたらすことができます。
さらに、PGDiff は、複数の高品質画像プロパティを統合することにより、複合タスクを処理できるように拡張できます。これは、それぞれのタスクからのガイダンスを統合することによって実現されます。
実験結果は、私たちの方法が既存の拡散事前ベースのアプローチよりも優れているだけでなく、タスク固有のモデルと有利に競合できることを示しています。

要約(オリジナル)

Exploiting pre-trained diffusion models for restoration has recently become a favored alternative to the traditional task-specific training approach. Previous works have achieved noteworthy success by limiting the solution space using explicit degradation models. However, these methods often fall short when faced with complex degradations as they generally cannot be precisely modeled. In this paper, we propose PGDiff by introducing partial guidance, a fresh perspective that is more adaptable to real-world degradations compared to existing works. Rather than specifically defining the degradation process, our approach models the desired properties, such as image structure and color statistics of high-quality images, and applies this guidance during the reverse diffusion process. These properties are readily available and make no assumptions about the degradation process. When combined with a diffusion prior, this partial guidance can deliver appealing results across a range of restoration tasks. Additionally, PGDiff can be extended to handle composite tasks by consolidating multiple high-quality image properties, achieved by integrating the guidance from respective tasks. Experimental results demonstrate that our method not only outperforms existing diffusion-prior-based approaches but also competes favorably with task-specific models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google