G$^2$V$^2$former: Graph Guided Video Vision Transformer for Face Anti-Spoofing

要約

なりすましの顔を含むビデオでは、測光異常または動的異常のいずれか、あるいは両方の組み合わせに基づいて、なりすましの証拠が見つかる可能性があります。
一般に普及している顔のアンチスプーフィング (FAS) アプローチは、一般に単一フレームのシナリオに重点を置いていますが、純粋にフォトメトリック主導の方法では、時間の経過とともに暴露される可能性のある動的なスプーフィングの手がかりが見落とされます。
これにより、特にダイナミクスの観点からは容易に区別できるが、測光の観点からは識別が難しい場合に、FAS システムが誤った判断を下す可能性があります。
この目的を達成するために、測光的および動的特徴融合のために顔を顔のランドマークと組み合わせるグラフガイド付きビデオビジョントランスフォーマー (G$^2$V$^2$former) を提案します。
私たちは注意を空間と時間に因数分解し、時空間ブロックを介してそれらを融合します。
具体的には、クロネッカー時間的注意と呼ばれる新しい時間的注意を設計します。これは、より広い受容野を有し、動的な情報を捕捉するのに有益です。
さらに、ランドマークを含む領域がより動的な手がかりを明らかにする可能性があるという動機に基づいて、顔のランドマークの低意味の動きを利用して、顔の表情の高意味の変化を誘導します。
9 つのベンチマーク データセットに対する広範な実験により、私たちの手法がさまざまなシナリオの下で優れたパフォーマンスを達成できることが実証されました。
コードは間もなく公開されます。

要約(オリジナル)

In videos containing spoofed faces, we may uncover the spoofing evidence based on either photometric or dynamic abnormality, even a combination of both. Prevailing face anti-spoofing (FAS) approaches generally concentrate on the single-frame scenario, however, purely photometric-driven methods overlook the dynamic spoofing clues that may be exposed over time. This may lead FAS systems to conclude incorrect judgments, especially in cases where it is easily distinguishable in terms of dynamics but challenging to discern in terms of photometrics. To this end, we propose the Graph Guided Video Vision Transformer (G$^2$V$^2$former), which combines faces with facial landmarks for photometric and dynamic feature fusion. We factorize the attention into space and time, and fuse them via a spatiotemporal block. Specifically, we design a novel temporal attention called Kronecker temporal attention, which has a wider receptive field, and is beneficial for capturing dynamic information. Moreover, we leverage the low-semantic motion of facial landmarks to guide the high-semantic change of facial expressions based on the motivation that regions containing landmarks may reveal more dynamic clues. Extensive experiments on nine benchmark datasets demonstrate that our method achieves superior performance under various scenarios. The codes will be released soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google