M3FAS: An Accurate and Robust MultiModal Mobile Face Anti-Spoofing System

要約

顔認証技術（Face Presentation Attack: FPA）は、「なりすまし」とも呼ばれ、金融詐欺やプライバシー漏洩など、様々な悪意ある応用により、社会的な関心が高まっています。そのため、FPAに対して顔認識システムを保護することは、最も重要な課題となっています。既存の学習型顔面偽装防止（FAS）モデルは、優れた検出性能を達成することができますが、汎化能力に欠け、不測の環境では大幅な性能低下に見舞われます。多くの方法論は、この制限に対処するために、プレゼンテーションアタック検出（PAD）の際に補助的なモダリティデータ（例えば、奥行きや赤外線マップ）を使用しようとするものである。しかし、これらの手法は、(1)データ取得のために深度カメラや赤外線カメラなどの特定のセンサを必要とし、これらは汎用的なモバイルデバイスではほとんど利用できない、(2)いずれかのモダリティが欠損または低品質の場合、実際のシナリオでは適切に動作しない、などの制限がある。本論文では、上記の課題を克服するために、高精度かつ堅牢なマルチモーダルモバイル顔認証システムM3FASを考案します。(1)カメラ、スピーカー、マイクという広く普及している3つのセンサーを用いて、視覚と聴覚のモダリティを融合させ、頑健ななりすまし防止を実現する。マルチヘッド学習戦略を提案する。このモデルは、視覚、音響、融合の3つのヘッドから3つの予測を出力し、より柔軟なPADを可能にする。広範な実験により、様々な困難な実験環境下でのM3FASの精度、頑健性、柔軟性が実証された。

要約(オリジナル)

Face presentation attacks (FPA), also known as face spoofing, have brought increasing concerns to the public through various malicious applications, such as financial fraud and privacy leakage. Therefore, safeguarding face recognition systems against FPA is of utmost importance. Although existing learning-based face anti-spoofing (FAS) models can achieve outstanding detection performance, they lack generalization capability and suffer significant performance drops in unforeseen environments. Many methodologies seek to use auxiliary modality data (e.g., depth and infrared maps) during the presentation attack detection (PAD) to address this limitation. However, these methods can be limited since (1) they require specific sensors such as depth and infrared cameras for data capture, which are rarely available on commodity mobile devices, and (2) they cannot work properly in practical scenarios when either modality is missing or of poor quality. In this paper, we devise an accurate and robust MultiModal Mobile Face Anti-Spoofing system named M3FAS to overcome the issues above. The innovation of this work mainly lies in the following aspects: (1) To achieve robust PAD, our system combines visual and auditory modalities using three pervasively available sensors: camera, speaker, and microphone; (2) We design a novel two-branch neural network with three hierarchical feature aggregation modules to perform cross-modal feature fusion; (3). We propose a multi-head training strategy. The model outputs three predictions from the vision, acoustic, and fusion heads, enabling a more flexible PAD. Extensive experiments have demonstrated the accuracy, robustness, and flexibility of M3FAS under various challenging experimental settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL