Inclusive normalization of face images to passport format

要約

顔認識は近年、現実世界のアプリケーションでますます使用されています。
しかし、肌の色の偏りに、厳しい照明などの個人内の変動が加わると、たとえ人間による検査であっても、顔認識タスクが失敗する可能性が高くなります。
顔正規化手法は、同一性を維持しながら入力画像から個人内の差異を除去することで、このような課題に対処しようとします。
ただし、ほとんどの顔正規化方法では、1 つまたは 2 つの変動のみを削除でき、肌の色の偏りなどのデータセットの偏りは無視されます。
多くの顔正規化手法の出力も人間の観察者にとって現実的ではありません。
この研究では、スタイルベースの顔正規化モデル (StyleFNM) が提案されており、ポーズの大きな変化、悪いまたは厳しい照明、低解像度、ぼやけ、顔の表情、サングラスなどのアクセサリーなど、個人内の変動のほとんどを除去します。
この論文では、パスポートのような画像のバランスのとれたデータセットを生成するように事前トレーニングされた GAN を制御することによって、データセットの偏りにも対処します。
実験結果は、StyleFNM がより現実的な出力を生成でき、顔認識システムの精度と公平性を大幅に向上できることを示しています。

要約(オリジナル)

Face recognition has been used more and more in real world applications in recent years. However, when the skin color bias is coupled with intra-personal variations like harsh illumination, the face recognition task is more likely to fail, even during human inspection. Face normalization methods try to deal with such challenges by removing intra-personal variations from an input image while keeping the identity the same. However, most face normalization methods can only remove one or two variations and ignore dataset biases such as skin color bias. The outputs of many face normalization methods are also not realistic to human observers. In this work, a style based face normalization model (StyleFNM) is proposed to remove most intra-personal variations including large changes in pose, bad or harsh illumination, low resolution, blur, facial expressions, and accessories like sunglasses among others. The dataset bias is also dealt with in this paper by controlling a pretrained GAN to generate a balanced dataset of passport-like images. The experimental results show that StyleFNM can generate more realistic outputs and can improve significantly the accuracy and fairness of face recognition systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google