Big Brother is Watching: Proactive Deepfake Detection via Learnable Hidden Face

要約

Deepfake Technologiesが進歩し続けるにつれて、受動的検出方法は、さまざまな偽造操作やデータセットに一般化するのに苦労しています。
積極的な防御技術は、深い職業の動作を効果的に防止するという主な目的で積極的に研究されています。
この論文では、受動的検出と積極的な防御の間のギャップを埋めることを目指し、プロアクティブな方法論を利用して検出問題を解決しようとします。
いくつかの透かしに基づいた法医学的方法に触発されて、「顔の中に学習可能な顔を隠す」という概念に基づいた新しい検出フレームワークを探ります。
具体的には、セミフラジールの反転性ステガノグラフィネットワークに依存して、秘密のテンプレート画像は、逆ステガノグラフィープロセスによって復元されたときに悪意のある画像偽造のインジケータモニタリングとして機能するホストイメージに埋め込まれています。
手動で指定される代わりに、秘密のテンプレートは、保護されている画像に隠されている「ビッグブラザー」のように、中立の顔の外観に似ているようにトレーニング中に最適化されています。
シミュレーション伝送チャネルにセルフブレンドメカニズムと堅牢性学習戦略を組み込むことにより、ステガノグラフィー画像が悪意を持って改ざんまたは良性処理されているかどうかを正確に区別するために堅牢な検出器が構築されます。
最後に、複数のデータセットで実施された広範な実験は、競合する受動的および積極的な検出方法よりも提案されたアプローチの優位性を示しています。

要約(オリジナル)

As deepfake technologies continue to advance, passive detection methods struggle to generalize with various forgery manipulations and datasets. Proactive defense techniques have been actively studied with the primary aim of preventing deepfake operation effectively working. In this paper, we aim to bridge the gap between passive detection and proactive defense, and seek to solve the detection problem utilizing a proactive methodology. Inspired by several watermarking-based forensic methods, we explore a novel detection framework based on the concept of “hiding a learnable face within a face”. Specifically, relying on a semi-fragile invertible steganography network, a secret template image is embedded into a host image imperceptibly, acting as an indicator monitoring for any malicious image forgery when being restored by the inverse steganography process. Instead of being manually specified, the secret template is optimized during training to resemble a neutral facial appearance, just like a “big brother” hidden in the image to be protected. By incorporating a self-blending mechanism and robustness learning strategy with a simulative transmission channel, a robust detector is built to accurately distinguish if the steganographic image is maliciously tampered or benignly processed. Finally, extensive experiments conducted on multiple datasets demonstrate the superiority of the proposed approach over competing passive and proactive detection methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google