Building an Invisible Shield for Your Portrait against Deepfakes

要約

ディープフェイクの検出の問題は、虐待防止のための顔操作を特定するという目的で、研究コミュニティで大きな注目を集めています。
最近の研究は、さまざまなタイプのディープフェイクを検出できる一般化されたモデルの開発に焦点を当てていますが、そのパフォーマンスは常に信頼性が高く安定しているとは限らず、現実のアプリケーションでは制限が生じます。
この論文では、偽造検出器を学習する代わりに、プロアクティブな戦略で肖像画を保護することを目的とした新しいフレームワーク、Integrity Encryptor を提案します。
私たちの手法には、重要な顔の属性と密接に関連するメッセージを、公開前に本物の画像に秘密裏にエンコードすることが含まれます。
隠されたメッセージを正確に抽出できる本物の画像とは異なり、ディープフェイク技術を通じて顔の属性を操作すると、デコードプロセスが中断される可能性があります。
したがって、変更された顔属性は、デコードされたメッセージの比較を通じて操作された画像を検出する手段として機能します。
当社の暗号化アプローチはその簡潔さと効率性を特徴としており、その結果として得られる方法は、画像劣化やノイズなどの一般的な画像処理トレースに対して優れた堅牢性を示します。
ブラックボックス設定でディープフェイクを検出するのに苦労するベースラインと比較すると、条件付き暗号化を利用した私たちの方法は、さまざまなタイプの偽造が提示された場合に優れたパフォーマンスを示します。
保護されたデータに対して行われた実験では、当社のアプローチは既存の最先端の方法を大幅に上回りました。

要約(オリジナル)

The issue of detecting deepfakes has garnered significant attention in the research community, with the goal of identifying facial manipulations for abuse prevention. Although recent studies have focused on developing generalized models that can detect various types of deepfakes, their performance is not always be reliable and stable, which poses limitations in real-world applications. Instead of learning a forgery detector, in this paper, we propose a novel framework – Integrity Encryptor, aiming to protect portraits in a proactive strategy. Our methodology involves covertly encoding messages that are closely associated with key facial attributes into authentic images prior to their public release. Unlike authentic images, where the hidden messages can be extracted with precision, manipulating the facial attributes through deepfake techniques can disrupt the decoding process. Consequently, the modified facial attributes serve as a mean of detecting manipulated images through a comparison of the decoded messages. Our encryption approach is characterized by its brevity and efficiency, and the resulting method exhibits a good robustness against typical image processing traces, such as image degradation and noise. When compared to baselines that struggle to detect deepfakes in a black-box setting, our method utilizing conditional encryption showcases superior performance when presented with a range of different types of forgeries. In experiments conducted on our protected data, our approach outperforms existing state-of-the-art methods by a significant margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google