Delocate: Detection and Localization for Deepfake Videos with Randomly-Located Tampered Traces

要約

ディープフェイクビデオはますます現実的になってきており、フレーム間で異なる顔の領域に微妙な改ざんの痕跡が表示されます。
その結果、既存のディープフェイク検出方法の多くは、改ざん領域を正確に特定しながら、未知のドメインのディープフェイク動画を検出するのに苦労しています。
この制限に対処するために、私たちは、未知のドメインのディープフェイク動画を認識し位置特定できる新しいディープフェイク検出モデルである Delocate を提案します。
私たちの方法は、回復と位置特定という 2 つの段階で構成されます。
復元段階では、モデルは関心領域 (ROI) をランダムにマスクし、痕跡を改ざんすることなく本物の顔を再構築します。その結果、本物の顔については比較的良好な復元効果が得られますが、偽の顔については低い復元効果が得られます。
位置特定段階では、回復フェーズの出力と偽造グラウンド トゥルース マスクが、偽造位置特定プロセスをガイドするための監視として機能します。
このプロセスは、回復が不十分な偽の顔の回復フェーズを戦略的に強調し、改ざんされた領域の位置特定を容易にします。
広く使用されている 4 つのベンチマーク データセットに対する広範な実験により、Delocate が改ざん領域の位置特定に優れているだけでなく、クロスドメイン検出パフォーマンスも向上していることが実証されました。

要約(オリジナル)

Deepfake videos are becoming increasingly realistic, showing subtle tampering traces on facial areasthat vary between frames. Consequently, many existing Deepfake detection methods struggle to detect unknown domain Deepfake videos while accurately locating the tampered region. To address thislimitation, we propose Delocate, a novel Deepfake detection model that can both recognize andlocalize unknown domain Deepfake videos. Ourmethod consists of two stages named recoveringand localization. In the recovering stage, the modelrandomly masks regions of interest (ROIs) and reconstructs real faces without tampering traces, resulting in a relatively good recovery effect for realfaces and a poor recovery effect for fake faces. Inthe localization stage, the output of the recoveryphase and the forgery ground truth mask serve assupervision to guide the forgery localization process. This process strategically emphasizes the recovery phase of fake faces with poor recovery, facilitating the localization of tampered regions. Ourextensive experiments on four widely used benchmark datasets demonstrate that Delocate not onlyexcels in localizing tampered areas but also enhances cross-domain detection performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google