Frequency Masking for Universal Deepfake Detection

要約

私たちは普遍的なディープフェイク検出を研究しています。
私たちの目標は、さまざまな生成 AI アプローチ、特にディープフェイク検出器のトレーニング中には表示されない新興画像から合成画像を検出することです。
普遍的なディープフェイク検出には、優れた一般化機能が必要です。
自己教師あり事前トレーニングで優れた一般化を実証した最近提案されたマスク画像モデリングを動機として、普遍的なディープフェイク検出のためのマスク画像モデリングを探索する最初の試みを行います。
私たちはディープフェイク検出器のトレーニングにおける空間領域および周波数領域のマスキングを研究しています。
経験的分析に基づいて、周波数マスキングによる新しいディープフェイク検出器を提案します。
周波数領域に対する私たちの焦点は、主に空間領域の検出を対象とする大多数とは異なります。
当社の比較分析により、既存の方法に比べて大幅なパフォーマンスの向上が明らかになりました。
コードとモデルは公開されています。

要約(オリジナル)

We study universal deepfake detection. Our goal is to detect synthetic images from a range of generative AI approaches, particularly from emerging ones which are unseen during training of the deepfake detector. Universal deepfake detection requires outstanding generalization capability. Motivated by recently proposed masked image modeling which has demonstrated excellent generalization in self-supervised pre-training, we make the first attempt to explore masked image modeling for universal deepfake detection. We study spatial and frequency domain masking in training deepfake detectors. Based on empirical analysis, we propose a novel deepfake detector via frequency masking. Our focus on frequency domain is different from the majority, which primarily target spatial domain detection. Our comparative analyses reveal substantial performance gains over existing methods. Code and models are publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google