MADation: Face Morphing Attack Detection with Foundation Models

要約

近年の顔認識アルゴリズムのかなりのパフォーマンスの改善にもかかわらず、この進歩の原因となる同じ科学的進歩を使用して、それらを攻撃する効率的な方法を作成し、安全な展開に対する脅威をもたらします。
モーフィング攻撃検出（MAD）システムは、特定のタイプの脅威、モーフィング攻撃を初期段階で検出することを目的としており、重要なプロセスでの検証のために考慮されないようにします。
Foundation Models（FM）は、広範な量の不明確なデータから学習し、目に見えないドメインに驚くべきゼロショットの一般化を達成します。
この一般化能力は、MADなどのドメイン固有のダウンストリームタスクを扱う場合は弱い場合がありますが、FMSはこれらの設定に簡単に適応し、トレーニング前に取得した組み込みの知識を保持します。
この作業では、FMSがその特異性に適切に適応した場合、狂ったタスクでうまく機能する可能性を認識しています。
この目的のために、分類ヘッダーを同時にトレーニングしながら、FMクリップアーキテクチャをLORAウェイトで適応させます。
提案されたフレームワークであるMadationは、私たちの代替FMおよびトランスベースのフレームワークを上回り、FMSのMADタスクへの最初の適応を構成します。
Madationは、文献の現在のMADソリューションで競争結果を提示し、いくつかの評価シナリオでそれらを上回ります。
再現性を促進し、MADでのさらなる研究を促進するために、https://github.com/gurayozgur/madationで狂気の実装を公開しています

要約(オリジナル)

Despite the considerable performance improvements of face recognition algorithms in recent years, the same scientific advances responsible for this progress can also be used to create efficient ways to attack them, posing a threat to their secure deployment. Morphing attack detection (MAD) systems aim to detect a specific type of threat, morphing attacks, at an early stage, preventing them from being considered for verification in critical processes. Foundation models (FM) learn from extensive amounts of unlabelled data, achieving remarkable zero-shot generalization to unseen domains. Although this generalization capacity might be weak when dealing with domain-specific downstream tasks such as MAD, FMs can easily adapt to these settings while retaining the built-in knowledge acquired during pre-training. In this work, we recognize the potential of FMs to perform well in the MAD task when properly adapted to its specificities. To this end, we adapt FM CLIP architectures with LoRA weights while simultaneously training a classification header. The proposed framework, MADation surpasses our alternative FM and transformer-based frameworks and constitutes the first adaption of FMs to the MAD task. MADation presents competitive results with current MAD solutions in the literature and even surpasses them in several evaluation scenarios. To encourage reproducibility and facilitate further research in MAD, we publicly release the implementation of MADation at https://github.com/gurayozgur/MADation

arxiv情報

提供元, 利用サービス

arxiv.jp, Google