Learning Second Order Local Anomaly for General Face Forgery Detection

要約

この作業では、CNN ベースの顔偽造検出器の一般化能力を向上させる新しい方法を提案します。
私たちの方法は、顔偽造アルゴリズムの一般的なブレンド操作によって引き起こされる偽造された顔の特徴異常を考慮しています。
具体的には、ディープ フィーチャ マップを使用して局所領域の異常をマイニングするために、弱く教師ありの 2 次局所異常 (SOLA) 学習モジュールを提案します。
SOLA は、最初に局所特徴の近傍をさまざまな方向と距離で分解し、次に、分類器により一般的な偽造トレースを提供する 1 次および 2 次の局所異常マップを計算します。
また、異常を計算する際の精度を確保するために、実際の領域と偽造された領域の局所的特徴間の識別を改善する局所拡張モジュール (LEM) を提案します。
さらに、改良された Adaptive Spatial Rich Model (ASRM) が導入され、学習可能なハイパス フィルターを介して微妙なノイズ機能をマイニングするのに役立ちます。
ピクセル レベルの注釈も外部の合成データも使用しないため、単純な ResNet18 バックボーンを使用する方法は、目に見えない偽造で評価した場合、最先端の作品と比較して競争力のあるパフォーマンスを実現します。

要約(オリジナル)

In this work, we propose a novel method to improve the generalization ability of CNN-based face forgery detectors. Our method considers the feature anomalies of forged faces caused by the prevalent blending operations in face forgery algorithms. Specifically, we propose a weakly supervised Second Order Local Anomaly (SOLA) learning module to mine anomalies in local regions using deep feature maps. SOLA first decomposes the neighborhood of local features by different directions and distances and then calculates the first and second order local anomaly maps which provide more general forgery traces for the classifier. We also propose a Local Enhancement Module (LEM) to improve the discrimination between local features of real and forged regions, so as to ensure accuracy in calculating anomalies. Besides, an improved Adaptive Spatial Rich Model (ASRM) is introduced to help mine subtle noise features via learnable high pass filters. With neither pixel level annotations nor external synthetic data, our method using a simple ResNet18 backbone achieves competitive performances compared with state-of-the-art works when evaluated on unseen forgeries.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google