Mask-FPAN: Semi-Supervised Face Parsing in the Wild With De-Occlusion and UV GAN

要約

【タイトル】
Mask-FPAN：De-OcclusionとUV GANによる野生の顔の半教師付きフェイスパーシング

【要約】
・最近、顔とヘッドを含む人の微細な意味的セグメンテーションは、特に曖昧な遮蔽物と大きな姿勢の変化を考慮することが困難な挑戦的なタスクであることが問題となっています。
・これらの困難を克服するため、Mask-FPANという新しいフレームワークを提案しています。
・Mask-FPANはDe-occlusionモジュールを使用し、半教師付きの方式で遮蔽された顔をパースする方法を学習します。顔のランドマークローカリゼーション、顔遮蔽の評価、および検出されたヘッドポーズが考慮されます。
・UV GANとの組み合わせとしての3D変更フェイスモデルは、2Dフェースパーシングの堅牢性を向上させます。
・さらに、FaceOccMask-HQおよびCelebAMaskOcc-HQという2つの新しいデータセットを導入しました。
・提案されたMask-FPANフレームワークは、野生の顔パーシング問題に対処し、困難な顔データセットにおけるMIOUが0.7353から0.9013まで、現状最高に比べて有意なパフォーマンス向上を示します。

要約(オリジナル)

Fine-grained semantic segmentation of a person’s face and head, including facial parts and head components, has progressed a great deal in recent years. However, it remains a challenging task, whereby considering ambiguous occlusions and large pose variations are particularly difficult. To overcome these difficulties, we propose a novel framework termed Mask-FPAN. It uses a de-occlusion module that learns to parse occluded faces in a semi-supervised way. In particular, face landmark localization, face occlusionstimations, and detected head poses are taken into account. A 3D morphable face model combined with the UV GAN improves the robustness of 2D face parsing. In addition, we introduce two new datasets named FaceOccMask-HQ and CelebAMaskOcc-HQ for face paring work. The proposed Mask-FPAN framework addresses the face parsing problem in the wild and shows significant performance improvements with MIOU from 0.7353 to 0.9013 compared to the state-of-the-art on challenging face datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI