SepMark: Deep Separable Watermarking for Unified Source Tracing and Deepfake Detection

要約

悪意のあるディープフェイクは、本物の顔と偽造された顔を区別することをめぐって激しい対立を引き起こしました。
ディープフェイクを事後的に検出するために多くの対策が開発されてきましたが、疑いもなく、パッシブフォレンジックでは、予見可能な操作が行われる前の元の顔に対する予防策が考慮されていませんでした。
このフォレンジック エコシステムを完成させるために、私たちはソース追跡とディープフェイク検出のための統合フレームワークを提供する SepMark と呼ばれるプロアクティブなソリューションを提案しました。
SepMark はエンコーダ デコーダ ベースの深層透かしを起源としていますが、2 つの分離可能なデコーダを備えています。
初めての分離可能な深層透かしにより、SepMark は確立された深層透かしの研究に新しいパラダイムをもたらします。1 つのエンコーダが 1 つの透かしをエレガントに埋め込み、2 つのデコーダが異なる堅牢性レベルで透かしを個別に抽出できます。
さまざまな歪みに耐える Tracer と呼ばれる堅牢なデコーダーは、非常に高いレベルの堅牢性を備えている可能性があり、ディープフェイクの前後の両方で透かしを存続させることができます。
Detector と呼ばれる半堅牢なものは、悪意のある歪みに対して選択的に敏感であり、ディープフェイク後に透かしを消去します。
Tracer と Detector で構成される SepMark だけが、マークされた顔の信頼できるソースを追跡し、マークされてから変更されたかどうかを検出できます。
どちらか一方だけではこれを達成することはできません。
広範な実験により、顔の交換、表情の再現、属性編集など、典型的なディープフェイクに対する提案された SepMark の有効性が実証されています。

要約(オリジナル)

Malicious Deepfakes have led to a sharp conflict over distinguishing between genuine and forged faces. Although many countermeasures have been developed to detect Deepfakes ex-post, undoubtedly, passive forensics has not considered any preventive measures for the pristine face before foreseeable manipulations. To complete this forensics ecosystem, we thus put forward the proactive solution dubbed SepMark, which provides a unified framework for source tracing and Deepfake detection. SepMark originates from encoder-decoder-based deep watermarking but with two separable decoders. For the first time the deep separable watermarking, SepMark brings a new paradigm to the established study of deep watermarking, where a single encoder embeds one watermark elegantly, while two decoders can extract the watermark separately at different levels of robustness. The robust decoder termed Tracer that resists various distortions may have an overly high level of robustness, allowing the watermark to survive both before and after Deepfake. The semi-robust one termed Detector is selectively sensitive to malicious distortions, making the watermark disappear after Deepfake. Only SepMark comprising of Tracer and Detector can reliably trace the trusted source of the marked face and detect whether it has been altered since being marked; neither of the two alone can achieve this. Extensive experiments demonstrate the effectiveness of the proposed SepMark on typical Deepfakes, including face swapping, expression reenactment, and attribute editing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google