Towards Intrinsic Common Discriminative Features Learning for Face Forgery Detection using Adversarial Learning

要約

既存の顔偽造検出方法は通常、顔偽造検出をバイナリ分類問題として扱い、識別機能を学習するために深い畳み込みニューラルネットワークを採用します。
理想的な識別機能は、顔画像の実際の/偽のラベルにのみ関連している必要があります。
ただし、バニラ分類ネットワークによって学習された機能は、偽造方法や顔のアイデンティティなどの不要なプロパティに相関していることがわかります。
このような現象は、特に一般化能力に関して、偽造検出のパフォーマンスを制限します。
これを動機として、敵対的学習を利用して、さまざまな偽造方法と顔のアイデンティティの悪影響を排除する新しい方法を提案します。これは、分類ネットワークが顔の偽造検出に固有の共通の識別機能を学習するのに役立ちます。
顔のアイデンティティのグラウンドトゥルースラベルがないデータを活用するために、既製の顔認識モデルから導出された類似性情報に基づいて、特別なアイデンティティ識別器を設計します。
敵対的学習の助けを借りて、私たちの顔の偽造検出モデルは、偽造方法と顔のアイデンティティの影響を排除することにより、一般的な識別機能を抽出することを学習します。
広範な実験は、データセット内およびデータセット間の評価設定の両方で提案された方法の有効性を示しています。

要約(オリジナル)

Existing face forgery detection methods usually treat face forgery detection as a binary classification problem and adopt deep convolution neural networks to learn discriminative features. The ideal discriminative features should be only related to the real/fake labels of facial images. However, we observe that the features learned by vanilla classification networks are correlated to unnecessary properties, such as forgery methods and facial identities. Such phenomenon would limit forgery detection performance especially for the generalization ability. Motivated by this, we propose a novel method which utilizes adversarial learning to eliminate the negative effect of different forgery methods and facial identities, which helps classification network to learn intrinsic common discriminative features for face forgery detection. To leverage data lacking ground truth label of facial identities, we design a special identity discriminator based on similarity information derived from off-the-shelf face recognition model. With the help of adversarial learning, our face forgery detection model learns to extract common discriminative features through eliminating the effect of forgery methods and facial identities. Extensive experiments demonstrate the effectiveness of the proposed method under both intra-dataset and cross-dataset evaluation settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google