Mask-FPAN: Semi-Supervised Face Parsing in the Wild With De-Occlusion and UV GAN

要約

顔のパーツや頭のコンポーネントを含む、人の顔と頭のきめの細かいセマンティック セグメンテーションは、近年大幅に進歩しました。
ただし、依然として困難な作業であるため、あいまいなオクルージョンやポーズの大きなバリエーションを考慮することが特に困難です。
これらの困難を克服するために、Mask-FPAN と呼ばれる新しいフレームワークを提案します。
これは、半教師ありの方法でオクルージョンされた顔を解析することを学習するデオクルージョン モジュールを使用します。
特に、顔のランドマークの位置特定、顔のオクルージョン推定、および検出された頭の姿勢が考慮されます。
3D モーファブル顔モデルと UV GAN を組み合わせることで、2D 顔解析の堅牢性が向上します。
さらに、顔ペアリング作業用に、FaceOccMask-HQ および CelebAMaskOcc-HQ という名前の 2 つの新しいデータセットを導入します。
提案された Mask-FPAN フレームワークは、現実の顔解析問題に対処し、困難な顔データセットに対する最先端のフレームワークと比較して、MIOU が 0.7353 から 0.9013 まで大幅なパフォーマンスの向上を示しています。

要約(オリジナル)

Fine-grained semantic segmentation of a person’s face and head, including facial parts and head components, has progressed a great deal in recent years. However, it remains a challenging task, whereby considering ambiguous occlusions and large pose variations are particularly difficult. To overcome these difficulties, we propose a novel framework termed Mask-FPAN. It uses a de-occlusion module that learns to parse occluded faces in a semi-supervised way. In particular, face landmark localization, face occlusionstimations, and detected head poses are taken into account. A 3D morphable face model combined with the UV GAN improves the robustness of 2D face parsing. In addition, we introduce two new datasets named FaceOccMask-HQ and CelebAMaskOcc-HQ for face paring work. The proposed Mask-FPAN framework addresses the face parsing problem in the wild and shows significant performance improvements with MIOU from 0.7353 to 0.9013 compared to the state-of-the-art on challenging face datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google