Enhancing Quality of Pose-varied Face Restoration with Local Weak Feature Sensing and GAN Prior

要約

顔のセマンティックガイダンス（顔のランドマーク、顔のヒートマップ、顔の解析マップを含む）および顔の生成的敵対的ネットワーク（GAN）は、近年、ブラインドフェイス復元（BFR）で広く使用されています。
既存のBFR手法は通常の場合に良好なパフォーマンスを達成しましたが、これらのソリューションは、実際のシナリオで深刻な劣化とポーズの変化（たとえば、右を見る、左を見る、笑うなど）のある顔画像に適用した場合の復元力が制限されます。
この作業では、生成的な顔の事前設定を使用して、適切に設計されたブラインドフェイス復元ネットワークを提案します。
提案されたネットワークは、主に非対称コーデックとStyleGAN2以前のネットワークで構成されています。
非対称コーデックでは、混合マルチパス残余ブロック（MMRB）を採用して、入力画像の弱いテクスチャ特徴を徐々に抽出します。これにより、元の顔の特徴をより適切に保持し、過度のファンタジーを回避できます。
MMRBは、他のネットワークでプラグアンドプレイすることもできます。
さらに、StyleGAN2モデルの豊かで多様な顔の優先順位のおかげで、自然でリアルな顔の細部を柔軟に復元するために微調整されたアプローチを採用しています。
さらに、新しい自己監視トレーニング戦略は、顔の修復タスクのために特別に設計されており、分布をターゲットに近づけ、トレーニングの安定性を維持します。
合成データセットと実世界のデータセットの両方での広範な実験は、私たちのモデルが顔の復元と顔の超解像タスクの従来技術よりも優れたパフォーマンスを達成することを示しています。

要約(オリジナル)

Facial semantic guidance (including facial landmarks, facial heatmaps, and facial parsing maps) and facial generative adversarial networks (GAN) prior have been widely used in blind face restoration (BFR) in recent years. Although existing BFR methods have achieved good performance in ordinary cases, these solutions have limited resilience when applied to face images with serious degradation and pose-varied (e.g., looking right, looking left, laughing, etc.) in real-world scenarios. In this work, we propose a well-designed blind face restoration network with generative facial prior. The proposed network is mainly comprised of an asymmetric codec and a StyleGAN2 prior network. In the asymmetric codec, we adopt a mixed multi-path residual block (MMRB) to gradually extract weak texture features of input images, which can better preserve the original facial features and avoid excessive fantasy. The MMRB can also be plug-and-play in other networks. Furthermore, thanks to the affluent and diverse facial priors of the StyleGAN2 model, we adopt a fine-tuned approach to flexibly restore natural and realistic facial details. Besides, a novel self-supervised training strategy is specially designed for face restoration tasks to fit the distribution closer to the target and maintain training stability. Extensive experiments on both synthetic and real-world datasets demonstrate that our model achieves superior performance to the prior art for face restoration and face super-resolution tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google