Kalman-Inspired Feature Propagation for Video Face Super-Resolution

要約

顔画像の超解像度は有望な進歩を遂げているにもかかわらず、ビデオの顔の超解像度はまだ比較的研究が進んでいません。
既存のアプローチは、一般的なビデオ超解像度ネットワークを顔データセットに適応させるか、確立された顔画像超解像度モデルを個々のビデオ フレームに独立して適用します。
これらのパラダイムは、顔の詳細を再構築するか、時間的一貫性を維持する際に課題に直面します。
これらの問題に対処するために、Kalman にインスピレーションを得た特徴伝播 (KEEP) と呼ばれる新しいフレームワークを導入します。これは、長期にわたって安定した面を維持するように設計されています。
カルマン フィルタリング原理は、以前に復元されたフレームからの情報を使用して、現在のフレームの復元プロセスをガイドおよび調整する反復的な機能を私たちの方法に提供します。
広範な実験により、ビデオ フレーム全体で一貫して顔の詳細をキャプチャする際の私たちの方法の有効性が実証されています。
コードとビデオのデモは https://jnjaby.github.io/projects/KEEP で入手できます。

要約(オリジナル)

Despite the promising progress of face image super-resolution, video face super-resolution remains relatively under-explored. Existing approaches either adapt general video super-resolution networks to face datasets or apply established face image super-resolution models independently on individual video frames. These paradigms encounter challenges either in reconstructing facial details or maintaining temporal consistency. To address these issues, we introduce a novel framework called Kalman-inspired Feature Propagation (KEEP), designed to maintain a stable face prior over time. The Kalman filtering principles offer our method a recurrent ability to use the information from previously restored frames to guide and regulate the restoration process of the current frame. Extensive experiments demonstrate the effectiveness of our method in capturing facial details consistently across video frames. Code and video demo are available at https://jnjaby.github.io/projects/KEEP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google