DiffBFR: Bootstrapping Diffusion Model Towards Blind Face Restoration

要約

タイトル：DiffBFR: Bootstrapping Diffusion Model Towards Blind Face Restoration

要約：

– Blind face restoration（BFR）は、重要でありながら課題がある。過去の研究では、GANベースのフレームワークを利用して、品質と効率のバランスに優れるため、このタスクに取り組むことが好ましかった。しかし、これらの手法は、安定性が低く、ロングテール分布に適応できないため、元の顔の特徴を保持したまま詳細を復元することが失敗した。
– DiffBFRは、上記の問題に対処するために、Diffusion Probabilistic Model（DPM）を導入したBFRを提案する。それは、トレーニングの崩壊を回避し、ロングテール分布を生成する点でGANよりも優れているためである。DiffBFRは、2つのステップのデザインを利用して、低品質の画像からID情報を復元し、実際の顔の分布に従ってテクスチャ詳細を強化する。
– この設計は2つのキー・コンポーネントで構成されている。1）特徴復元モジュール（IRM）では、結果の顔の詳細を保持するために、新しい切り捨てサンプリング方法を提案する。2つのカスケード条件付きDPMが切り捨てサンプリングの効果を強化し、高解像度の画像でトレーニングの難しさを軽減する。 2）テクスチャ強化モジュール（TEM）では、画像のテクスチャを磨き上げるために、条件を必要としないDPMが導入される。この条件を必要としないDPMは、ピクセルレベル空間で推論画像の正しい分布を証明することに貢献する。切り捨てサンプリングと時間ステップの分数が使用され、ID情報を維持しながらピクセルレベルのテクスチャを磨き上げるために使用される。

要約(オリジナル)

Blind face restoration (BFR) is important while challenging. Prior works prefer to exploit GAN-based frameworks to tackle this task due to the balance of quality and efficiency. However, these methods suffer from poor stability and adaptability to long-tail distribution, failing to simultaneously retain source identity and restore detail. We propose DiffBFR to introduce Diffusion Probabilistic Model (DPM) for BFR to tackle the above problem, given its superiority over GAN in aspects of avoiding training collapse and generating long-tail distribution. DiffBFR utilizes a two-step design, that first restores identity information from low-quality images and then enhances texture details according to the distribution of real faces. This design is implemented with two key components: 1) Identity Restoration Module (IRM) for preserving the face details in results. Instead of denoising from pure Gaussian random distribution with LQ images as the condition during the reverse process, we propose a novel truncated sampling method which starts from LQ images with part noise added. We theoretically prove that this change shrinks the evidence lower bound of DPM and then restores more original details. With theoretical proof, two cascade conditional DPMs with different input sizes are introduced to strengthen this sampling effect and reduce training difficulty in the high-resolution image generated directly. 2) Texture Enhancement Module (TEM) for polishing the texture of the image. Here an unconditional DPM, a LQ-free model, is introduced to further force the restorations to appear realistic. We theoretically proved that this unconditional DPM trained on pure HQ images contributes to justifying the correct distribution of inference images output from IRM in pixel-level space. Truncated sampling with fractional time step is utilized to polish pixel-level textures while preserving identity information.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI