Robust Identity Perceptual Watermark Against Deepfake Face Swapping

要約

社会に利便性とエンターテイメントを提供しているにもかかわらず、ディープフェイクの顔交換は、ディープ生成モデルの急速な発展に伴い、重大なプライバシー問題を引き起こしています。
高品質の合成画像では知覚できないアーティファクトが存在するため、近年の顔の交換に対する受動的検出モデルは、一般化可能性の問題によりパフォーマンスが低下するのが一般的です。
そこで、目に見えない信号を事前に挿入することで、悪意のある操作から元の画像を積極的に保護する研究がいくつか試みられています。
しかし、既存のプロアクティブな防御アプローチでは、視覚的な品質、検出精度、ソース追跡能力に関して満足のいく結果が得られません。
この研究では、ディープフェイクの顔交換に対する検出とソース追跡をプロアクティブに同時に実行する、最初の堅牢なアイデンティティ知覚透かしフレームワークを提案します。
画像コンテンツに関するアイデンティティセマンティクスを透かしに割り当て、透かしの機密性を確保するために、予測不可能で元に戻せないカオス暗号化システムを考案します。
透かしは、敵対的な画像操作とともにエンコーダーとデコーダーのフレームワークを共同でトレーニングすることによってエンコードされ、復元されます。
広範な実験により、データセット間および操作間設定の両方でディープフェイクの顔交換に対する最先端のパフォーマンスが実証されました。

要約(オリジナル)

Notwithstanding offering convenience and entertainment to society, Deepfake face swapping has caused critical privacy issues with the rapid development of deep generative models. Due to imperceptible artifacts in high-quality synthetic images, passive detection models against face swapping in recent years usually suffer performance damping regarding the generalizability issue. Therefore, several studies have been attempted to proactively protect the original images against malicious manipulations by inserting invisible signals in advance. However, the existing proactive defense approaches demonstrate unsatisfactory results with respect to visual quality, detection accuracy, and source tracing ability. In this study, we propose the first robust identity perceptual watermarking framework that concurrently performs detection and source tracing against Deepfake face swapping proactively. We assign identity semantics regarding the image contents to the watermarks and devise an unpredictable and unreversible chaotic encryption system to ensure watermark confidentiality. The watermarks are encoded and recovered by jointly training an encoder-decoder framework along with adversarial image manipulations. Extensive experiments demonstrate state-of-the-art performance against Deepfake face swapping under both cross-dataset and cross-manipulation settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google