Analysis and Benchmarking of Extending Blind Face Image Restoration to Videos

要約

ブラインドフェイス復元における最近の進歩により、静止画像に対して高品質の復元結果が得られるようになりました。
しかし、包括的かつ公正な比較を可能にするベンチマークが存在しないこともあり、これらの進歩をビデオ シナリオに拡張する取り組みは最小限に抑えられています。
この研究では、まず公平な評価ベンチマークを提示します。このベンチマークでは、最初に現実世界の低品質顔ビデオ ベンチマーク (RFV-LQ) を導入し、いくつかの主要な画像ベースの顔復元アルゴリズムを評価し、徹底的な体系的分析を実施します。
ブラインド顔画像復元アルゴリズムを劣化した顔ビデオに拡張することに関連する利点と課題。
私たちの分析では、主に 2 つの側面に分類されるいくつかの重要な問題を特定しました。それは、顔コンポーネントの大きなジッターとフレーム間のノイズ形状のちらつきです。
これらの問題に対処するために、復元されたビデオのジッターやちらつきを軽減するために、アライメント スムージングと連携した時間整合性ネットワーク (TCN) を提案します。
TCN は、最先端の顔画像復元アルゴリズムにシームレスに接続できる柔軟なコンポーネントであり、画像ベースの復元の品質を可能な限り維持することができます。
私たちが提案する TCN とアライメント平滑化操作の有効性と効率を評価するために、広範な実験が行われました。
プロジェクトページ: https://wzhouxiff.github.io/projects/FIR2FVR/FIR2FVR。

要約(オリジナル)

Recent progress in blind face restoration has resulted in producing high-quality restored results for static images. However, efforts to extend these advancements to video scenarios have been minimal, partly because of the absence of benchmarks that allow for a comprehensive and fair comparison. In this work, we first present a fair evaluation benchmark, in which we first introduce a Real-world Low-Quality Face Video benchmark (RFV-LQ), evaluate several leading image-based face restoration algorithms, and conduct a thorough systematical analysis of the benefits and challenges associated with extending blind face image restoration algorithms to degraded face videos. Our analysis identifies several key issues, primarily categorized into two aspects: significant jitters in facial components and noise-shape flickering between frames. To address these issues, we propose a Temporal Consistency Network (TCN) cooperated with alignment smoothing to reduce jitters and flickers in restored videos. TCN is a flexible component that can be seamlessly plugged into the most advanced face image restoration algorithms, ensuring the quality of image-based restoration is maintained as closely as possible. Extensive experiments have been conducted to evaluate the effectiveness and efficiency of our proposed TCN and alignment smoothing operation. Project page: https://wzhouxiff.github.io/projects/FIR2FVR/FIR2FVR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google