Towards Realistic Landmark-Guided Facial Video Inpainting Based on GANs

要約

顔のビデオ修復は、ビデオ会議や遠隔医療における障害物の除去、表情分析の強化、プライバシー保護、グラフィカル オーバーレイの統合、バーチャル メイクアップなど、幅広いアプリケーションで重要な役割を果たします。
この領域は、顔の特徴の複雑な性質と人間の顔に対する固有の馴染みにより、深刻な課題を抱えており、正確で説得力のある完成の必要性が高まっています。
この文脈で特にオクルージョン除去に関連する課題に取り組む際、私たちはマスクで覆われた顔データから完全な画像を生成し、空間的および時間的一貫性の両方を確保するという進歩的なタスクに焦点を当てています。
私たちの研究では、表現ベースのビデオ修復用に設計されたネットワークを導入し、敵対的生成ネットワーク (GAN) を使用して、すべてのフレームにわたる静的オクルージョンと移動オクルージョンを処理します。
顔のランドマークとオクルージョンフリーの参照画像を利用することで、私たちのモデルはフレーム間で一貫してユーザーのアイデンティティを維持します。
カスタマイズされた表情認識 (FER) 損失関数によって感情の保持がさらに強化され、詳細な描画出力が保証されます。
私たちが提案するフレームワークは、フレーム上で静的に表示されるか動的に表示されるかにかかわらず、適応的な形式で顔ビデオからオクルージョンを除去する能力を示し、現実的で一貫した結果を提供します。

要約(オリジナル)

Facial video inpainting plays a crucial role in a wide range of applications, including but not limited to the removal of obstructions in video conferencing and telemedicine, enhancement of facial expression analysis, privacy protection, integration of graphical overlays, and virtual makeup. This domain presents serious challenges due to the intricate nature of facial features and the inherent human familiarity with faces, heightening the need for accurate and persuasive completions. In addressing challenges specifically related to occlusion removal in this context, our focus is on the progressive task of generating complete images from facial data covered by masks, ensuring both spatial and temporal coherence. Our study introduces a network designed for expression-based video inpainting, employing generative adversarial networks (GANs) to handle static and moving occlusions across all frames. By utilizing facial landmarks and an occlusion-free reference image, our model maintains the user’s identity consistently across frames. We further enhance emotional preservation through a customized facial expression recognition (FER) loss function, ensuring detailed inpainted outputs. Our proposed framework exhibits proficiency in eliminating occlusions from facial videos in an adaptive form, whether appearing static or dynamic on the frames, while providing realistic and coherent results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google