HiMFR: A Hybrid Masked Face Recognition Through Face Inpainting

要約

マスクされた顔を認識するために、考えられる解決策の 1 つは、まず顔の隠れた部分を復元してから、顔認識方法を適用することです。
最近の画像修復方法に着想を得て、マスクされた顔検出器、顔の修復、および顔認識の 3 つの重要な部分で構成されるエンドツーエンドのハイブリッド マスク顔認識システム、つまり HiMFR を提案します。
マスクされた顔検出モジュールは、事前トレーニング済みのビジョン トランスフォーマー (ViT\_b32) を適用して、顔がマスクで覆われているかどうかを検出します。
修復モジュールは、Generative Adversarial Network (GAN) に基づく微調整された画像修復モデルを使用して、顔を復元します。
最後に、EfficientNetB3 バックボーンを備えた ViT に基づくハイブリッド顔認識モジュールが顔を認識します。
ローカルで収集した小さなデータセット、つまり Face5 を使用して、CelebA、SSDMNV2、MAFA、{Pubfig83} という 4 つの公開されているデータセットで提案された方法を実装し、評価しました。
包括的な実験結果は、競争力のある提案された HiMFR 法の有効性を示しています。
コードは https://github.com/mdhosen/HiMFR で入手できます

要約(オリジナル)

To recognize the masked face, one of the possible solutions could be to restore the occluded part of the face first and then apply the face recognition method. Inspired by the recent image inpainting methods, we propose an end-to-end hybrid masked face recognition system, namely HiMFR, consisting of three significant parts: masked face detector, face inpainting, and face recognition. The masked face detector module applies a pretrained Vision Transformer (ViT\_b32) to detect whether faces are covered with masked or not. The inpainting module uses a fine-tune image inpainting model based on a Generative Adversarial Network (GAN) to restore faces. Finally, the hybrid face recognition module based on ViT with an EfficientNetB3 backbone recognizes the faces. We have implemented and evaluated our proposed method on four different publicly available datasets: CelebA, SSDMNV2, MAFA, {Pubfig83} with our locally collected small dataset, namely Face5. Comprehensive experimental results show the efficacy of the proposed HiMFR method with competitive performance. Code is available at https://github.com/mdhosen/HiMFR

arxiv情報

提供元, 利用サービス

arxiv.jp, Google