Wavelet-Driven Generalizable Framework for Deepfake Face Forgery Detection

要約

デジタル画像操作の進化、特にディープ生成モデルの進歩は、特にディープフェイクの出所が不明瞭な場合、既存のディープフェイク検出方法に大きな課題をもたらします。
これらの偽造の複雑化に対処するために、私たちは \textbf{Wavelet-CLIP} を提案します。これは、ウェーブレット変換と、CLIP 方式で事前にトレーニングされた ViT-L/14 アーキテクチャから派生した機能を統合するディープフェイク検出フレームワークです。
Wavelet-CLIP は、ウェーブレット変換を利用して画像の空間特徴と周波数特徴の両方を深く分析し、高度なディープフェイクを検出するモデルの機能を強化します。
私たちのアプローチの有効性を検証するために、データセット間の一般化と標準拡散モデルによって生成された目に見えない画像の検出のための既存の最先端の方法に対して広範な評価を実施しました。
私たちの手法は卓越したパフォーマンスを示し、データ間の一般化で平均 AUC 0.749、目に見えないディープフェイクに対する堅牢性で 0.893 を達成し、比較したすべての手法を上回りました。
コードはリポジトリから複製できます: \url{https://github.com/lalithbharadwajbaru/Wavelet-CLIP}

要約(オリジナル)

The evolution of digital image manipulation, particularly with the advancement of deep generative models, significantly challenges existing deepfake detection methods, especially when the origin of the deepfake is obscure. To tackle the increasing complexity of these forgeries, we propose \textbf{Wavelet-CLIP}, a deepfake detection framework that integrates wavelet transforms with features derived from the ViT-L/14 architecture, pre-trained in the CLIP fashion. Wavelet-CLIP utilizes Wavelet Transforms to deeply analyze both spatial and frequency features from images, thus enhancing the model’s capability to detect sophisticated deepfakes. To verify the effectiveness of our approach, we conducted extensive evaluations against existing state-of-the-art methods for cross-dataset generalization and detection of unseen images generated by standard diffusion models. Our method showcases outstanding performance, achieving an average AUC of 0.749 for cross-data generalization and 0.893 for robustness against unseen deepfakes, outperforming all compared methods. The code can be reproduced from the repo: \url{https://github.com/lalithbharadwajbaru/Wavelet-CLIP}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google