Towards Real-world Video Face Restoration: A New Benchmark

要約

画像上のブラインド顔復元（BFR）はここ数年で大幅に進歩しましたが、現実世界のビデオ顔復元（VFR）は、視線方向の移動や顔の向きの移動など、より複雑な顔の動きにとってより困難であり、未解決のままです。
一般的な BFR 手法は、非公開で合成されたデータセットまたは自己収集された現実世界の低品質の顔画像に基づいて評価されますが、現実世界のビデオ フレームの範囲が限られています。
この研究では、ビデオに対する現在の手法の適用可能性を研究するために、主にビデオ フレームからの「フル、オクルージョン、サイド」顔の分類を備えた FOS という名前の新しい実世界データセットを導入しました。
既存のテスト データセットと比較して、FOS データセットはより多様な劣化をカバーし、より複雑なシナリオからの顔サンプルを含むため、現在の顔復元アプローチをより包括的に再検討するのに役立ちます。
確立されたデータセットを考慮して、最先端の BFR 手法とビデオ超解像度 (VSR) 手法の両方をベンチマークして、現在のアプローチを包括的に研究し、VFR タスクにおけるそれらの可能性と限界を特定しました。
さらに、主観的なユーザー調査を活用して、一般的に使用される画質評価 (IQA) メトリクスと顔 IQA (FIQA) メトリクスの有効性を研究しました。
提供された広範な実験結果と詳細な分析により、現在の BFR メソッドと VSR メソッドの両方の成功と失敗から洞察が得られました。
これらの結果は、現在の顔面修復アプローチにも課題を提起しており、これが VFR 研究の今後の進歩を刺激することを期待しています。

要約(オリジナル)

Blind face restoration (BFR) on images has significantly progressed over the last several years, while real-world video face restoration (VFR), which is more challenging for more complex face motions such as moving gaze directions and facial orientations involved, remains unsolved. Typical BFR methods are evaluated on privately synthesized datasets or self-collected real-world low-quality face images, which are limited in their coverage of real-world video frames. In this work, we introduced new real-world datasets named FOS with a taxonomy of ‘Full, Occluded, and Side’ faces from mainly video frames to study the applicability of current methods on videos. Compared with existing test datasets, FOS datasets cover more diverse degradations and involve face samples from more complex scenarios, which helps to revisit current face restoration approaches more comprehensively. Given the established datasets, we benchmarked both the state-of-the-art BFR methods and the video super resolution (VSR) methods to comprehensively study current approaches, identifying their potential and limitations in VFR tasks. In addition, we studied the effectiveness of the commonly used image quality assessment (IQA) metrics and face IQA (FIQA) metrics by leveraging a subjective user study. With extensive experimental results and detailed analysis provided, we gained insights from the successes and failures of both current BFR and VSR methods. These results also pose challenges to current face restoration approaches, which we hope stimulate future advances in VFR research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google