Robust Identity Perceptual Watermark Against Deepfake Face Swapping

要約

社会に利便性とエンターテイメントを提供しているにもかかわらず、ディープフェイクの顔交換は、ディープ生成モデルの急速な発展に伴い、重大なプライバシー問題を引き起こしています。
高品質の合成画像では知覚できないアーティファクトが存在するため、近年の顔の交換に対する受動的検出モデルは、一般化可能性の問題によりパフォーマンスが低下するのが一般的です。
そこで、目に見えない信号を事前に挿入することで、悪意のある操作から元の画像を積極的に保護する研究がいくつか試みられています。
しかし、既存のプロアクティブな防御アプローチでは、視覚的な品質、検出精度、ソース追跡能力に関して満足のいく結果が得られません。
この研究では、研究のギャップを埋めるために、ディープフェイクの顔交換に対する検出とソース追跡を積極的に同時に実行する、最初の堅牢なアイデンティティ知覚透かしフレームワークを提案します。
画像コンテンツに関するアイデンティティセマンティクスを透かしに割り当て、予測不可能かつ不可逆的なカオス暗号化システムを考案して透かしの機密性を確保します。
透かしは、敵対的な画像操作とともにエンコーダーとデコーダーのフレームワークを共同でトレーニングすることによってエンコードされ、復元されます。
改ざんとソース追跡は、コンテンツと一致する識別知覚透かしと画像から復元された堅牢な透かしの間の一貫性を正当化することによって達成されます。
広範な実験により、クロスデータセット設定とクロス操作設定の両方でディープフェイクの顔交換における最先端の検出パフォーマンスが実証されました。

要約(オリジナル)

Notwithstanding offering convenience and entertainment to society, Deepfake face swapping has caused critical privacy issues with the rapid development of deep generative models. Due to imperceptible artifacts in high-quality synthetic images, passive detection models against face swapping in recent years usually suffer performance damping regarding the generalizability issue. Therefore, several studies have been attempted to proactively protect the original images against malicious manipulations by inserting invisible signals in advance. However, the existing proactive defense approaches demonstrate unsatisfactory results with respect to visual quality, detection accuracy, and source tracing ability. In this study, to fulfill the research gap, we propose the first robust identity perceptual watermarking framework that concurrently performs detection and source tracing against Deepfake face swapping proactively. We assign identity semantics regarding the image contents to the watermarks and devise an unpredictable and nonreversible chaotic encryption system to ensure watermark confidentiality. The watermarks are encoded and recovered by jointly training an encoder-decoder framework along with adversarial image manipulations. Falsification and source tracing are accomplished by justifying the consistency between the content-matched identity perceptual watermark and the recovered robust watermark from the image. Extensive experiments demonstrate state-of-the-art detection performance on Deepfake face swapping under both cross-dataset and cross-manipulation settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google