Learning Real Facial Concepts for Independent Deepfake Detection

要約

DeepFake検出モデルは、目標ドメインの偽物として実際のインスタンスを誤分類するものとして明示され、目に見えないデータセットへの一般化に苦労することがよくあります。
これは主に、偽造品のアーティファクトへの過度の依存と、実際の顔の理解が限られているためです。
この課題に対処するために、本物の顔と偽のクラスに属する確率を独立して評価しながら、実際の顔の包括的な概念を学ぶことにより、一般化を強化するための新しいアプローチを提案します。
RealIDは、Real Concept Captureモジュール（REALC2）と独立したデュアル決定分類器（IDC）の2つの重要なモジュールで構成されています。
Multireal Memoryの助けを借りて、RealC2は実際の顔のさまざまなプロトタイプを維持し、モデルが実際のクラスの包括的な概念をキャプチャできるようにします。
一方、IDCは、実際のクラスの概念と偽造工芸品の存在に基づいて独立した決定を下すことにより、分類戦略を再定義します。
上記のモジュールの複合効果により、偽造傍パターンの影響が軽減され、5つの広く使用されているデータセットでの広範な実験は、RealIDが既存の最先端の方法を大幅に上回り、平均精度が1.74％改善することを示しています。

要約(オリジナル)

Deepfake detection models often struggle with generalization to unseen datasets, manifesting as misclassifying real instances as fake in target domains. This is primarily due to an overreliance on forgery artifacts and a limited understanding of real faces. To address this challenge, we propose a novel approach RealID to enhance generalization by learning a comprehensive concept of real faces while assessing the probabilities of belonging to the real and fake classes independently. RealID comprises two key modules: the Real Concept Capture Module (RealC2) and the Independent Dual-Decision Classifier (IDC). With the assistance of a MultiReal Memory, RealC2 maintains various prototypes for real faces, allowing the model to capture a comprehensive concept of real class. Meanwhile, IDC redefines the classification strategy by making independent decisions based on the concept of the real class and the presence of forgery artifacts. Through the combined effect of the above modules, the influence of forgery-irrelevant patterns is alleviated, and extensive experiments on five widely used datasets demonstrate that RealID significantly outperforms existing state-of-the-art methods, achieving a 1.74% improvement in average accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google