要約
ディープ生成モデルが進歩するにつれて、ディープフェイクが「完璧」、つまり認識できるアーティファクトやノイズを生成しないようになると予想されます。
しかし、現在のディープフェイク検出器は、意図的か不注意かに関わらず、そのようなアーティファクトを検出に依存しています。これは、これらのアーティファクトはディープフェイク専用であり、本物の例には存在しないためです。
このギャップを埋めるために、本物と偽造のサンプルに同様のアーティファクトが存在するバランスのとれたシナリオの下で検出器をストレス テストするための Rebalance Deepfake Detection Protocol (RDDP) を導入しました。
当社は 2 つの RDDP 亜種を提供しています。RDDP-WHITEHAT は、ホワイトハット ディープフェイク アルゴリズムを使用して「セルフ ディープフェイク」、つまり基礎となるアイデンティティに似た本物のポートレート ビデオを作成しますが、ディープフェイク ビデオと同様のアーティファクトを持ちます。
RDDP-SURROGATE は、サロゲート関数 (ガウス ノイズなど) を使用して本物のサンプルと偽造されたサンプルの両方を処理し、等価ノイズを導入することで、ディープフェイク アルゴリズムの必要性を回避します。
本物の動画と一致する完璧なディープフェイク動画の検出に向けて、アーティファクトや外観よりも動きに焦点を当てて、変装の背後にある人形遣いを特定する検出器、ID-Miner を紹介します。
ID ベースの検出器として、参照映像と比較することでビデオを認証します。
ID-Miner は、フレーム レベルでのアーティファクトに依存しない損失と、ビデオ レベルでの ID に固定された損失を備えており、気が散るような変化の中で ID 信号を効果的に選び出します。
2 つのディープフェイク データセットを使用した従来の評価と RDDP 評価の両方で、ID-Miner と 12 のベースライン検出器を比較した広範な実験と、追加の定性的研究により、私たちの手法の優位性と、完全なディープフェイクに対抗するように設計された検出器の必要性が確認されました。
要約(オリジナル)
As deep generative models advance, we anticipate deepfakes achieving ‘perfection’-generating no discernible artifacts or noise. However, current deepfake detectors, intentionally or inadvertently, rely on such artifacts for detection, as they are exclusive to deepfakes and absent in genuine examples. To bridge this gap, we introduce the Rebalanced Deepfake Detection Protocol (RDDP) to stress-test detectors under balanced scenarios where genuine and forged examples bear similar artifacts. We offer two RDDP variants: RDDP-WHITEHAT uses white-hat deepfake algorithms to create ‘self-deepfakes,’ genuine portrait videos with the resemblance of the underlying identity, yet carry similar artifacts to deepfake videos; RDDP-SURROGATE employs surrogate functions (e.g., Gaussian noise) to process both genuine and forged examples, introducing equivalent noise, thereby sidestepping the need of deepfake algorithms. Towards detecting perfect deepfake videos that aligns with genuine ones, we present ID-Miner, a detector that identifies the puppeteer behind the disguise by focusing on motion over artifacts or appearances. As an identity-based detector, it authenticates videos by comparing them with reference footage. Equipped with the artifact-agnostic loss at frame-level and the identity-anchored loss at video-level, ID-Miner effectively singles out identity signals amidst distracting variations. Extensive experiments comparing ID-Miner with 12 baseline detectors under both conventional and RDDP evaluations with two deepfake datasets, along with additional qualitative studies, affirm the superiority of our method and the necessity for detectors designed to counter perfect deepfakes.
arxiv情報
| 著者 | Wei-Han Wang,Chin-Yuan Yeh,Hsi-Wen Chen,De-Nian Yang,Ming-Syan Chen |
| 発行日 | 2024-05-01 12:48:13+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google