Learning Unknown Spoof Prompts for Generalized Face Anti-Spoofing Using Only Real Face Images

要約

フェイスアンチスプーフィングは、顔認識システムのセキュリティを確保するための重要な技術です。
ただし、多様なシナリオ全体で一般化する能力は依然として重要な課題です。
この論文では、限られた一般化能力を、外部のデータ収集のバリエーションから生じる共変量シフトと、新たな攻撃タイプの実質的な違いに起因するセマンティックシフトの2つの重要な要因に起因すると考えています。
両方の課題に対処するために、単一のソースドメインからの実際の顔の画像のみに依存して、未知のスプーフプロンプトを学習するための新しいアプローチを提案します。
私たちの方法は、ビジョン言語モデルに組み込まれた一般的な知識を活用することにより、実際の顔と潜在的な未知のスプーフィング攻撃のテキストプロンプトを生成し、それにより、目に見えないターゲットドメインに一般化するモデルの能力を高めます。
具体的には、効果的なプロンプトを学習するために、多様なスプーフィングプロンプト最適化フレームワークを紹介します。
このフレームワークは、リラックスした事前知識空間内で未知のスプーフィングプロンプトを制約しながら、実際の顔の画像からの距離を最大化します。
さらに、さまざまなスプーフィングプロンプトの間でセマンティックな独立性を実施して、広範囲のスプーフィングパターンをキャプチャします。
9つのデータセットでの実験結果は、学習されたプロンプトが視覚言語モデルの知識を効果的に転送し、スプーフィングの顔画像を使用せずに、目に見えないターゲットドメイン全体の多様な未知の攻撃タイプに対する最先端の一般化能力を可能にすることを示しています。

要約(オリジナル)

Face anti-spoofing is a critical technology for ensuring the security of face recognition systems. However, its ability to generalize across diverse scenarios remains a significant challenge. In this paper, we attribute the limited generalization ability to two key factors: covariate shift, which arises from external data collection variations, and semantic shift, which results from substantial differences in emerging attack types. To address both challenges, we propose a novel approach for learning unknown spoof prompts, relying solely on real face images from a single source domain. Our method generates textual prompts for real faces and potential unknown spoof attacks by leveraging the general knowledge embedded in vision-language models, thereby enhancing the model’s ability to generalize to unseen target domains. Specifically, we introduce a diverse spoof prompt optimization framework to learn effective prompts. This framework constrains unknown spoof prompts within a relaxed prior knowledge space while maximizing their distance from real face images. Moreover, it enforces semantic independence among different spoof prompts to capture a broad range of spoof patterns. Experimental results on nine datasets demonstrate that the learned prompts effectively transfer the knowledge of vision-language models, enabling state-of-the-art generalization ability against diverse unknown attack types across unseen target domains without using any spoof face images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google