When Handcrafted Features and Deep Features Meet Mismatched Training and Test Sets for Deepfake Detection

要約

合成ビジュアル メディアの生成と操作の加速的な成長は、重大な懸念を引き起こし、社会に対して多大な脅威をもたらす段階に達しています。
虚偽のデジタル コンテンツに対する自動検出ネットワークが不可欠であり、この脅威に対抗するには、危険な人工情報の拡散を回避する必要があります。
この論文では、ディープフェイク検出タスクのために、2 種類の手作りの機能 (SIFT と HoG) と 2 種類のディープ機能 (Xception と CNN + RNN) を利用して比較します。
また、トレーニング セットとテスト セットの間に不一致がある場合、これらの機能のパフォーマンスも確認します。
評価は、Deepfakes、Face2Face、FaceSwap、および NeuralTextures の 4 つのサブデータセットを含む有名な FaceForensics++ データセットで実行されます。
最良の結果は Xception によるもので、トレーニング セットとテスト セットの両方が同じサブデータセットからのものである場合、精度は 99\% を超える可能性があります。
対照的に、トレーニング セットがテスト セットと一致しない場合、結果は劇的に低下します。
この現象は、普遍的なディープフェイク検出システムを作成するという課題を明らかにしています。

要約(オリジナル)

The accelerated growth in synthetic visual media generation and manipulation has now reached the point of raising significant concerns and posing enormous intimidations towards society. There is an imperative need for automatic detection networks towards false digital content and avoid the spread of dangerous artificial information to contend with this threat. In this paper, we utilize and compare two kinds of handcrafted features(SIFT and HoG) and two kinds of deep features(Xception and CNN+RNN) for the deepfake detection task. We also check the performance of these features when there are mismatches between training sets and test sets. Evaluation is performed on the famous FaceForensics++ dataset, which contains four sub-datasets, Deepfakes, Face2Face, FaceSwap and NeuralTextures. The best results are from Xception, where the accuracy could surpass over 99\% when the training and test set are both from the same sub-dataset. In comparison, the results drop dramatically when the training set mismatches the test set. This phenomenon reveals the challenge of creating a universal deepfake detection system.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google