Masked Conditional Diffusion Model for Enhancing Deepfake Detection

要約

ディープフェイク検出に関する最近の研究では、顔のトレーニングとテストが同じデータセットからのものである場合に有望な結果が得られています。
ただし、モデルがトレーニング中にまだ見ていない偽造サンプルに直面すると、結果は大幅に低下します。
この論文では、ディープフェイクの検出に役立つディープフェイク データについて説明します。
この論文では、拡散モデルベースのデータ拡張に新たな洞察を加え、ディープフェイク検出を強化するためのマスクされた条件付き拡散モデル (MCDM) を提案することを紹介します。
マスクされた元の顔からさまざまな偽造された顔を生成し、ディープフェイク検出モデルが特別なアーティファクトに過剰適合することなく、一般的で堅牢な表現を学習することを促進します。
広範な実験により、私たちの方法で生成された偽造画像は高品質であり、ディープフェイク検出モデルのパフォーマンスの向上に役立つことが実証されました。

要約(オリジナル)

Recent studies on deepfake detection have achieved promising results when training and testing faces are from the same dataset. However, their results severely degrade when confronted with forged samples that the model has not yet seen during training. In this paper, deepfake data to help detect deepfakes. this paper present we put a new insight into diffusion model-based data augmentation, and propose a Masked Conditional Diffusion Model (MCDM) for enhancing deepfake detection. It generates a variety of forged faces from a masked pristine one, encouraging the deepfake detection model to learn generic and robust representations without overfitting to special artifacts. Extensive experiments demonstrate that forgery images generated with our method are of high quality and helpful to improve the performance of deepfake detection models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google