DADM: Dual Alignment of Domain and Modality for Face Anti-spoofing

要約

多様なセンサーモダリティ（つまり、RGB、深さ、赤外線）の可用性とマルチモーダル学習の成功により、マルチモーダルフェイスアンチスポーフィング（FAS）が顕著な研究の焦点として浮上しています。
その背後にある直感は、複数のモダリティを活用すると、より本質的なスプーフィングトレースを明らかにする可能性があるということです。
ただし、このアプローチは、より多くの不整合のリスクをもたらします。
（1）\ textBf {ドメイン内モダリティの不整合}の2つの主要なタイプを特定します。ここで、各モダリティの重要性は異なる攻撃によって異なります。
たとえば、特定のモダリティ（深さなど）は、特定の攻撃（3Dマスクなど）に対して防御的ではない場合があります。これは、各モダリティが特定の攻撃に対抗する際に独自の長所と短所を持っていることを示しています。
その結果、単純な融合戦略は不十分な場合があります。
（2）\ textBf {ドメイン間モダリティの不整合}。追加のモダリティの導入がドメインのシフトを悪化させ、補完的な融合の利点を覆い隠す可能性があります。
（1）に取り組むために、相互情報に基づいたモダリティ間のアライメントモジュールを提案します。これは、好ましくないモダリティを適応的に強化しながら、好ましくないモダリティを抑制します。
（2）に対処するには、サブドメインのハイパープレーンとモダリティ角の両方の縁を整列させるデュアルアライメント最適化方法を使用して、ドメインギャップを緩和します。
私たちの方法は、\ textbf {d} ual \ textbf {a} \ textbf {d} omainおよび\ textbf {m} odality（dadm）と呼ばれるもので、マルチモダルの領域一般化シナリオでの堅牢性を示す4つの挑戦的なプロトコルにわたって、4つの挑戦的なプロトコルにわたって最新の実験で最先端のパフォーマンスを達成します。
コードはまもなくリリースされます。

要約(オリジナル)

With the availability of diverse sensor modalities (i.e., RGB, Depth, Infrared) and the success of multi-modal learning, multi-modal face anti-spoofing (FAS) has emerged as a prominent research focus. The intuition behind it is that leveraging multiple modalities can uncover more intrinsic spoofing traces. However, this approach presents more risk of misalignment. We identify two main types of misalignment: (1) \textbf{Intra-domain modality misalignment}, where the importance of each modality varies across different attacks. For instance, certain modalities (e.g., Depth) may be non-defensive against specific attacks (e.g., 3D mask), indicating that each modality has unique strengths and weaknesses in countering particular attacks. Consequently, simple fusion strategies may fall short. (2) \textbf{Inter-domain modality misalignment}, where the introduction of additional modalities exacerbates domain shifts, potentially overshadowing the benefits of complementary fusion. To tackle (1), we propose a alignment module between modalities based on mutual information, which adaptively enhances favorable modalities while suppressing unfavorable ones. To address (2), we employ a dual alignment optimization method that aligns both sub-domain hyperplanes and modality angle margins, thereby mitigating domain gaps. Our method, dubbed \textbf{D}ual \textbf{A}lignment of \textbf{D}omain and \textbf{M}odality (DADM), achieves state-of-the-art performance in extensive experiments across four challenging protocols demonstrating its robustness in multi-modal domain generalization scenarios. The codes will be released soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google