MADation: Face Morphing Attack Detection with Foundation Models

要約

近年、顔認識アルゴリズムのパフォーマンスが大幅に向上しているにもかかわらず、この進歩をもたらした同じ科学的進歩を利用して、顔認識アルゴリズムを攻撃する効率的な方法を作成することもでき、その安全な展開に脅威をもたらす可能性があります。
モーフィング攻撃検出 (MAD) システムは、特定の種類の脅威であるモーフィング攻撃を早期に検出し、重要なプロセスで検証の対象とならないようにすることを目的としています。
ファウンデーション モデル (FM) は、ラベルのない大量のデータから学習し、目に見えない領域に対する驚くべきゼロショット一般化を実現します。
MAD などのドメイン固有の下流タスクを扱う場合、この一般化能力は弱い可能性がありますが、FM は、事前トレーニング中に取得した組み込みの知識を保持しながら、これらの設定に簡単に適応できます。
この研究では、MAD タスクの特異性に適切に適応した場合、FM が MAD タスクでうまく機能する可能性があることを認識しています。
この目的を達成するために、LoRA 重みを使用して FM CLIP アーキテクチャを適応させ、同時に分類ヘッダーをトレーニングします。
提案されたフレームワークである MADation は、代替の FM およびトランスベースのフレームワークを上回り、MAD タスクへの FM の最初の適応を構成します。
MADation は、文献で現在の MAD ソリューションと競合する結果を示しており、いくつかの評価シナリオではそれを上回っています。
MAD の再現性を高め、さらなる研究を促進するために、MADation の実装を https://github.com/gurayozgur/MADation で公開します。

要約(オリジナル)

Despite the considerable performance improvements of face recognition algorithms in recent years, the same scientific advances responsible for this progress can also be used to create efficient ways to attack them, posing a threat to their secure deployment. Morphing attack detection (MAD) systems aim to detect a specific type of threat, morphing attacks, at an early stage, preventing them from being considered for verification in critical processes. Foundation models (FM) learn from extensive amounts of unlabeled data, achieving remarkable zero-shot generalization to unseen domains. Although this generalization capacity might be weak when dealing with domain-specific downstream tasks such as MAD, FMs can easily adapt to these settings while retaining the built-in knowledge acquired during pre-training. In this work, we recognize the potential of FMs to perform well in the MAD task when properly adapted to its specificities. To this end, we adapt FM CLIP architectures with LoRA weights while simultaneously training a classification header. The proposed framework, MADation surpasses our alternative FM and transformer-based frameworks and constitutes the first adaption of FMs to the MAD task. MADation presents competitive results with current MAD solutions in the literature and even surpasses them in several evaluation scenarios. To encourage reproducibility and facilitate further research in MAD, we publicly release the implementation of MADation at https: //github.com/gurayozgur/MADation

arxiv情報

提供元, 利用サービス

arxiv.jp, Google