Robust Sequential DeepFake Detection

要約

現在、顔操作技術によってフォトリアリスティックな顔が簡単に生成できるため、これらの技術の潜在的な悪意のある悪用が大きな懸念を引き起こしています。
このため、数多くのディープフェイク検出方法が提案されている。
ただし、既存の方法は、ワンステップの顔操作の検出のみに焦点を当てています。
簡単にアクセスできる顔編集アプリケーションの出現により、人々は複数ステップの操作を連続的に使用して顔のコンポーネントを簡単に操作できるようになりました。
この新たな脅威では、一連の顔操作を検出する必要があります。これは、ディープフェイク メディアの検出と、その後の元の顔を復元するために不可欠です。
この観察に動機付けられて、私たちはその必要性を強調し、逐次ディープフェイク操作の検出 (Seq-DeepFake) と呼ばれる新しい研究課題を提案します。
バイナリラベル予測のみを要求する既存のディープフェイク検出タスクとは異なり、Seq-DeepFake 操作を検出するには、顔操作操作の連続ベクトルを正しく予測する必要があります。
大規模な調査をサポートするために、最初の Seq-DeepFake データセットを構築します。このデータセットでは、顔画像が連続的な顔操作ベクトルの対応するアノテーションを使用して連続的に操作されます。
この新しいデータセットに基づいて、Seq-DeepFake 操作の検出を特定の画像からシーケンスへのタスクとしてキャストし、簡潔かつ効果的な Seq-DeepFake Transformer (SeqFakeFormer) を提案します。
現実世界のディープフェイク データの分布をよりよく反映するために、元の Seq-DeepFake データセットにさまざまな摂動をさらに適用し、摂動を含むより困難な Sequential DeepFake データセット (Seq-DeepFake-P) を構築します。
Seq-DeepFake-P に直面したときに画像とシーケンス間のより深い相関を利用するために、画像シーケンス推論を備えた専用の Seq-DeepFake Transformer (SeqFakeFormer++) が考案され、より堅牢な Seq-DeepFake 検出のために画像シーケンスのペア間のより強力な対応関係を構築します。

要約(オリジナル)

Since photorealistic faces can be readily generated by facial manipulation technologies nowadays, potential malicious abuse of these technologies has drawn great concerns. Numerous deepfake detection methods are thus proposed. However, existing methods only focus on detecting one-step facial manipulation. As the emergence of easy-accessible facial editing applications, people can easily manipulate facial components using multi-step operations in a sequential manner. This new threat requires us to detect a sequence of facial manipulations, which is vital for both detecting deepfake media and recovering original faces afterwards. Motivated by this observation, we emphasize the need and propose a novel research problem called Detecting Sequential DeepFake Manipulation (Seq-DeepFake). Unlike the existing deepfake detection task only demanding a binary label prediction, detecting Seq-DeepFake manipulation requires correctly predicting a sequential vector of facial manipulation operations. To support a large-scale investigation, we construct the first Seq-DeepFake dataset, where face images are manipulated sequentially with corresponding annotations of sequential facial manipulation vectors. Based on this new dataset, we cast detecting Seq-DeepFake manipulation as a specific image-to-sequence task and propose a concise yet effective Seq-DeepFake Transformer (SeqFakeFormer). To better reflect real-world deepfake data distributions, we further apply various perturbations on the original Seq-DeepFake dataset and construct the more challenging Sequential DeepFake dataset with perturbations (Seq-DeepFake-P). To exploit deeper correlation between images and sequences when facing Seq-DeepFake-P, a dedicated Seq-DeepFake Transformer with Image-Sequence Reasoning (SeqFakeFormer++) is devised, which builds stronger correspondence between image-sequence pairs for more robust Seq-DeepFake detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google