On the Effect of Selfie Beautification Filters on Face Detection and Recognition

要約

美化フィルターや拡張現実フィルターは、スマートフォンや個人用デバイスで撮影したセルフィー画像を使用するアプリケーションで非常に人気があります。
ただし、生体認証機能を歪めたり変更したりして、個人の身元を認識したり、顔を検出したりする能力に深刻な影響を与える可能性があります。
したがって、自動化された顔の検出と認識の精度に対するそのようなフィルターの影響に対処します。
調査したソーシャル メディアの画像フィルターは、画像のコントラストや明るさを変更するか、人工眼鏡や動物の鼻などで顔の一部を覆い隠します。
これらのフィルターの一部の効果は、特に目や (それほどではないが) 鼻を難読化する場合、顔検出と ID 認識の両方に有害であることがわかります。
このような影響を打ち消すために、U-NET セグメンテーション ネットワークの修正バージョンを使用して、適用された操作を再構築する方法を開発します。
これは、顔検出と認識精度の向上に寄与することが観察されています。
認識の観点からは、顔を認識するように訓練された ResNet-34 ネットワークを使用して抽出された特徴に適用される、距離測定と訓練された機械学習アルゴリズムを採用しています。
また、フィルタリングされた画像を機械学習アプローチのトレーニング セットに組み込むことが ID 認識に有益であるかどうかも評価します。
フィルターが重要なランドマーク、特に目 (識別精度 > 99%、EER < 2%) を遮らない場合、私たちの結果は良好な認識を示しています。 提案されたアプローチの複合効果により、顔の一部を遮るフィルターによって生成される効果を軽減し、評価された摂動の大部分で >92% の識別精度と EER <8% を達成することもできます。 改善の余地はありますが、U-NET 再構成もフィルター処理された画像を使用したトレーニングも適用されない場合、目を著しく遮るフィルターの精度は <72% (識別) および >12% (EER) です。

要約(オリジナル)

Beautification and augmented reality filters are very popular in applications that use selfie images captured with smartphones or personal devices. However, they can distort or modify biometric features, severely affecting the capability of recognizing individuals’ identity or even detecting the face. Accordingly, we address the effect of such filters on the accuracy of automated face detection and recognition. The social media image filters studied either modify the image contrast or illumination or occlude parts of the face with for example artificial glasses or animal noses. We observe that the effect of some of these filters is harmful both to face detection and identity recognition, specially if they obfuscate the eye or (to a lesser extent) the nose. To counteract such effect, we develop a method to reconstruct the applied manipulation with a modified version of the U-NET segmentation network. This is observed to contribute to a better face detection and recognition accuracy. From a recognition perspective, we employ distance measures and trained machine learning algorithms applied to features extracted using a ResNet-34 network trained to recognize faces. We also evaluate if incorporating filtered images to the training set of machine learning approaches are beneficial for identity recognition. Our results show good recognition when filters do not occlude important landmarks, specially the eyes (identification accuracy >99%, EER<2%). The combined effect of the proposed approaches also allow to mitigate the effect produced by filters that occlude parts of the face, achieving an identification accuracy of >92% with the majority of perturbations evaluated, and an EER <8%. Although there is room for improvement, when neither U-NET reconstruction nor training with filtered images is applied, the accuracy with filters that severely occlude the eye is <72% (identification) and >12% (EER)

arxiv情報

提供元, 利用サービス

arxiv.jp, Google