Multi-Prior Learning via Neural Architecture Search for Blind Face Restoration

要約

Blind Face Restoration（BFR）は、低品質の顔画像から高品質の顔画像を復元することを目的としており、通常、復元パフォーマンスを向上させるために顔の事前分布に頼ります。
ただし、現在の方法には、依然として2つの大きな問題があります。1）大規模な手動調整なしで強力なネットワークアーキテクチャを導出する方法。
2）復元パフォーマンスを向上させるために、1つのネットワークで複数の顔の事前分布から補完的な情報を取得する方法。
この目的のために、Face Restoration Searching Network（FRSNet）を提案して、指定された検索スペース内の適切な特徴抽出アーキテクチャを適応的に検索します。これにより、復元の品質に直接貢献できます。
FRSNetに基づいて、Multi-priorLearningSchemeを使用してMultipleFacialPrior Searching Network（MFPSNet）をさらに設計します。
MFPSNetは、さまざまな顔の事前情報から情報を最適に抽出し、その情報を画像の特徴に融合して、外部ガイダンスと内部特徴の両方が確実に予約されるようにします。
このように、MFPSNetは、セマンティックレベル（マップの解析）、ジオメトリレベル（顔のヒートマップ）、参照レベル（顔の辞書）、およびピクセルレベル（劣化した画像）の情報を最大限に活用し、忠実でリアルな画像を生成します。
定量的および定性的な実験は、MFPSNetが、最先端のBFR手法に対して、合成データセットと実世界のデータセットの両方で良好に機能することを示しています。
コードはhttps://github.com/YYJ1anG/MFPSNetで公開されています。

要約(オリジナル)

Blind Face Restoration (BFR) aims to recover high-quality face images from low-quality ones and usually resorts to facial priors for improving restoration performance. However, current methods still suffer from two major difficulties: 1) how to derive a powerful network architecture without extensive hand tuning; 2) how to capture complementary information from multiple facial priors in one network to improve restoration performance. To this end, we propose a Face Restoration Searching Network (FRSNet) to adaptively search the suitable feature extraction architecture within our specified search space, which can directly contribute to the restoration quality. On the basis of FRSNet, we further design our Multiple Facial Prior Searching Network (MFPSNet) with a multi-prior learning scheme. MFPSNet optimally extracts information from diverse facial priors and fuses the information into image features, ensuring that both external guidance and internal features are reserved. In this way, MFPSNet takes full advantage of semantic-level (parsing maps), geometric-level (facial heatmaps), reference-level (facial dictionaries) and pixel-level (degraded images) information and thus generates faithful and realistic images. Quantitative and qualitative experiments show that MFPSNet performs favorably on both synthetic and real-world datasets against the state-of-the-art BFR methods. The codes are publicly available at: https://github.com/YYJ1anG/MFPSNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google