Ensemble Learning using Transformers and Convolutional Networks for Masked Face Recognition

要約

フェイスマスクを着用することは、コロナウイルスの拡散を減らすために私たちが従わなければならなかった調整の1つです.
私たちの顔は常にマスクで覆われているため、この行動が顔認識システムの認識能力にどのように影響するかを理解し、調査する必要があります。
現在の顔認識システムは、制約のない一般的な顔認識のケースを処理する場合には非常に高い精度を発揮しますが、遮蔽されたマスクされた顔ではうまく一般化できません。
この作業では、マスクされた顔認識システムを提案します。
提案されたシステムは、2 つの畳み込みニューラル ネットワーク (CNN) モデルと 2 つの Transformer モデルで構成されます。
CNN モデルは、FaceNet の事前トレーニング済みモデルで微調整されています。
多数決法を使用して 4 つのモデルの予測を組み合わせて、マスクを持つ人物を識別します。
提案されたシステムは、この作業で作成された合成的にマスクされた LFW データセットで評価されています。
アンサンブルされたモデルを使用すると、92% の精度で最高の精度が得られます。
この認識率は、他のモデルの精度を上回り、マスクされた顔を認識するための提案されたモデルの正確さと堅牢性を示しています。
コードとデータは https://github.com/Hamzah-Luqman/MFR で入手できます。

要約(オリジナル)

Wearing a face mask is one of the adjustments we had to follow to reduce the spread of the coronavirus. Having our faces covered by masks constantly has driven the need to understand and investigate how this behavior affects the recognition capability of face recognition systems. Current face recognition systems have extremely high accuracy when dealing with unconstrained general face recognition cases but do not generalize well with occluded masked faces. In this work, we propose a system for masked face recognition. The proposed system comprises two Convolutional Neural Network (CNN) models and two Transformer models. The CNN models have been fine-tuned on FaceNet pre-trained model. We ensemble the predictions of the four models using the majority voting technique to identify the person with the mask. The proposed system has been evaluated on a synthetically masked LFW dataset created in this work. The best accuracy is obtained using the ensembled models with an accuracy of 92%. This recognition rate outperformed the accuracy of other models and it shows the correctness and robustness of the proposed model for recognizing masked faces. The code and data are available at https://github.com/Hamzah-Luqman/MFR

arxiv情報

提供元, 利用サービス

arxiv.jp, Google