DifFace: Blind Face Restoration with Diffused Error Contraction

要約

盲目の顔を復元するための深層学習ベースの方法は前例のない成功を収めましたが、依然として 2 つの大きな制限があります。
まず、それらのほとんどは、トレーニング データの複雑な劣化に直面すると劣化します。
第二に、これらの方法には、忠実度、知覚的損失、敵対的損失などの複数の制約が必要であり、それらの影響を安定させてバランスをとるために骨の折れるハイパーパラメーター調整が必要です。
この作業では、複雑な損失設計なしで、目に見えない複雑な劣化をより優雅に処理できる、DifFace という名前の新しい方法を提案します。
私たちの方法の鍵は、観測された低品質 (LQ) 画像からその高品質 (HQ) 画像への事後分布を確立することです。
特に、LQ 画像から事前トレーニング済み拡散モデルの中間状態への遷移分布を設計し、事前トレーニング済み拡散モデルを再帰的に適用することで、この中間状態から HQ ターゲットに徐々に送信します。
遷移分布は、一部の合成データで $L_2$ の損失でトレーニングされた復元バックボーンのみに依存しているため、既存の方法での面倒なトレーニング プロセスを有利に回避できます。
さらに、遷移分布は復元バックボーンのエラーを縮小できるため、未知の劣化に対してよりロバストな方法になります。
包括的な実験により、DifFace が現在の最先端の方法よりも優れていることが示されています。これは、特に劣化が深刻な場合に顕著です。
私たちのコードとモデルは、https://github.com/zsyOAOA/DifFace で入手できます。

要約(オリジナル)

While deep learning-based methods for blind face restoration have achieved unprecedented success, they still suffer from two major limitations. First, most of them deteriorate when facing complex degradations out of their training data. Second, these methods require multiple constraints, e.g., fidelity, perceptual, and adversarial losses, which require laborious hyper-parameter tuning to stabilize and balance their influences. In this work, we propose a novel method named DifFace that is capable of coping with unseen and complex degradations more gracefully without complicated loss designs. The key of our method is to establish a posterior distribution from the observed low-quality (LQ) image to its high-quality (HQ) counterpart. In particular, we design a transition distribution from the LQ image to the intermediate state of a pre-trained diffusion model and then gradually transmit from this intermediate state to the HQ target by recursively applying a pre-trained diffusion model. The transition distribution only relies on a restoration backbone that is trained with $L_2$ loss on some synthetic data, which favorably avoids the cumbersome training process in existing methods. Moreover, the transition distribution can contract the error of the restoration backbone and thus makes our method more robust to unknown degradations. Comprehensive experiments show that DifFace is superior to current state-of-the-art methods, especially in cases with severe degradations. Our code and model are available at https://github.com/zsyOAOA/DifFace.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google