DFREC: DeepFake Identity Recovery Based on Identity-aware Masked Autoencoder

要約

Deepfake Forensicsの最近の進歩は、主に分類の精度と一般化パフォーマンスの向上に焦点を当てています。
多種多様な偽造アルゴリズムにわたる検出精度が非常に進歩したにもかかわらず、既存のアルゴリズムは、法医学的調査を支援するための直感的な解釈可能性とアイデンティティのトレーサビリティに欠けています。
この論文では、このギャップを埋めるために、新しいDeepfake Identity Recovery Scheme（DFREC）を紹介します。
DFRECは、ディープフェイクのアイデンティティトレースを促進し、ディープフェイク攻撃のリスクを軽減するために、ディープフェイクイメージからソースとターゲットの顔を回復することを目指しています。
IDセグメンテーションモジュール（ISM）、ソースアイデンティティ再構成モジュール（SIRM）、およびターゲットIdentity Identity Reconstructionモジュール（TIRM）の3つの重要なコンポーネントで構成されています。
ISMは、入力面を明確なソースとターゲットフェース情報にセグメント化し、SIRMはソースフェースを再構築し、セグメント化されたソース情報で潜在的なターゲットID機能を抽出します。
バックグラウンドコンテキストと潜在的なターゲットアイデンティティの特徴は、ターゲットフェイスを再構築するために、TIRMのマスクされた自動エンコーダーによって相乗的に融合されます。
FaceForensics ++、CelebameGafs、FFHQ-E4Sデータセットに対する6つの異なる高忠実度の顔のスワップ攻撃でDFRECを評価します。
さらに、DFRECは、高い発言で偽造画像から直接ターゲットの顔とターゲットの両方の顔を回復できる唯一のスキームです。

要約(オリジナル)

Recent advances in deepfake forensics have primarily focused on improving the classification accuracy and generalization performance. Despite enormous progress in detection accuracy across a wide variety of forgery algorithms, existing algorithms lack intuitive interpretability and identity traceability to help with forensic investigation. In this paper, we introduce a novel DeepFake Identity Recovery scheme (DFREC) to fill this gap. DFREC aims to recover the pair of source and target faces from a deepfake image to facilitate deepfake identity tracing and reduce the risk of deepfake attack. It comprises three key components: an Identity Segmentation Module (ISM), a Source Identity Reconstruction Module (SIRM), and a Target Identity Reconstruction Module (TIRM). The ISM segments the input face into distinct source and target face information, and the SIRM reconstructs the source face and extracts latent target identity features with the segmented source information. The background context and latent target identity features are synergetically fused by a Masked Autoencoder in the TIRM to reconstruct the target face. We evaluate DFREC on six different high-fidelity face-swapping attacks on FaceForensics++, CelebaMegaFS and FFHQ-E4S datasets, which demonstrate its superior recovery performance over state-of-the-art deepfake recovery algorithms. In addition, DFREC is the only scheme that can recover both pristine source and target faces directly from the forgery image with high fadelity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google