SeeABLE: Soft Discrepancies and Bounded Contrastive Learning for Exposing Deepfakes

要約

最新のディープフェイク検出器は、トレーニング画像とテスト画像が同じデータ収集から抽出された場合に、有望な結果を達成しています。
ただし、これらの検出器を未知のディープフェイク生成技術で生成された画像に適用すると、一般に大幅なパフォーマンスの低下が観察されます。
この論文では、検出問題を (1 クラスの) 分布外検出タスクとして形式化し、目に見えないディープフェイクに対してより適切に一般化する、SeeABLE と呼ばれる新しいディープフェイク検出器を提案します。
具体的には、SeeABLE は最初に局所的な画像の摂動 (ソフトディスクレパンシーと呼ばれる) を生成し、次に新しい回帰ベースの有界コントラスト損失を使用して、摂動された面を事前定義されたプロトタイプに近づけます。
未知のディープフェイク タイプに対する SeeABLE の一般化パフォーマンスを強化するために、豊富なソフト不一致セットを生成し、(i) 顔のどの部分が変更されたかを位置特定するため、(ii) 変更のタイプを識別するために検出器をトレーニングします。
SeeABLE の機能を実証するために、私たちは広く使用されているいくつかのディープフェイク データセットに対して厳密な実験を実行し、私たちのモデルが競合する最先端の検出器を説得力を持って上回るパフォーマンスを示しながら、非常に有望な一般化機能を示していることを示しました。

要約(オリジナル)

Modern deepfake detectors have achieved encouraging results, when training and test images are drawn from the same data collection. However, when these detectors are applied to images produced with unknown deepfake-generation techniques, considerable performance degradations are commonly observed. In this paper, we propose a novel deepfake detector, called SeeABLE, that formalizes the detection problem as a (one-class) out-of-distribution detection task and generalizes better to unseen deepfakes. Specifically, SeeABLE first generates local image perturbations (referred to as soft-discrepancies) and then pushes the perturbed faces towards predefined prototypes using a novel regression-based bounded contrastive loss. To strengthen the generalization performance of SeeABLE to unknown deepfake types, we generate a rich set of soft discrepancies and train the detector: (i) to localize, which part of the face was modified, and (ii) to identify the alteration type. To demonstrate the capabilities of SeeABLE, we perform rigorous experiments on several widely-used deepfake datasets and show that our model convincingly outperforms competing state-of-the-art detectors, while exhibiting highly encouraging generalization capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google