Blind Face Restoration: Benchmark Datasets and a Baseline Model

要約

ブラインド顔画像復元（BFR）は、低品質（LQ）入力から高品質（HQ）顔画像を作成することを目的としています。近年、多くのBFR手法が提案され、目覚ましい成果を上げています。しかし、これらの手法は、個人で合成したデータセットを用いて学習・評価されているため、後続の手法が公平に比較することが困難である。この問題を解決するために、我々はまず、EDFace-Celeb-1M (BFR128) と EDFace-Celeb-150K (BFR512) という二つのブラインド顔復元ベンチマークデータセットを合成する。これらのデータセットに対して、ぼかし、ノイズ、低解像度、JPEG圧縮アーチファクト、およびそれらの組み合わせ（完全劣化）の5つの設定下で、最新の手法がベンチマークされています。また、より包括的な比較を行うために、広く用いられている5つの定量的指標と、Average Face Landmark Distance (AFLD) と Average Face ID Cosine Similarity (AFICS) というタスク駆動型の指標を適用している。さらに、Swin Transformer U-Net (STUNet)と呼ばれる効果的なベースラインモデルを開発しました。U-netアーキテクチャを持つSTUNetは、アテンション機構とシフトウィンドウ方式を適用し、長距離の画素間相互作用を捉え、重要な特徴により焦点を当てながら、効率的に学習させることが可能である。実験により、提案するベースライン手法は、様々なBFRタスクにおいて、SOTA手法に対して良好な性能を示すことが示された。

要約(オリジナル)

Blind Face Restoration (BFR) aims to construct a high-quality (HQ) face image from its corresponding low-quality (LQ) input. Recently, many BFR methods have been proposed and they have achieved remarkable success. However, these methods are trained or evaluated on privately synthesized datasets, which makes it infeasible for the subsequent approaches to fairly compare with them. To address this problem, we first synthesize two blind face restoration benchmark datasets called EDFace-Celeb-1M (BFR128) and EDFace-Celeb-150K (BFR512). State-of-the-art methods are benchmarked on them under five settings including blur, noise, low resolution, JPEG compression artifacts, and the combination of them (full degradation). To make the comparison more comprehensive, five widely-used quantitative metrics and two task-driven metrics including Average Face Landmark Distance (AFLD) and Average Face ID Cosine Similarity (AFICS) are applied. Furthermore, we develop an effective baseline model called Swin Transformer U-Net (STUNet). The STUNet with U-net architecture applies an attention mechanism and a shifted windowing scheme to capture long-range pixel interactions and focus more on significant features while still being trained efficiently. Experimental results show that the proposed baseline method performs favourably against the SOTA methods on various BFR tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL